Cómo limpiar tu conjunto de datos antes del análisis

Paso 1: haz una copia de seguridad y configura tu espacio de trabajo

Nunca, bajo ninguna circunstancia, limpies datos directamente en el archivo original. Nunca.

1. Guarda la exportación de datos brutos en una carpeta designada como raw/ o 01_raw/. A partir de este momento, este archivo debe considerarse de solo lectura; no lo edites.
2. Crea una copia de este archivo en una carpeta denominada clean/ o 02_clean/. Todas las modificaciones se llevarán a cabo exclusivamente en esta copia.
3. Abre tu registro de limpieza. Lo irás actualizando de forma continua a medida que avances por los siguientes pasos.
4. Registra la fecha, el nombre del archivo bruto, el número de registros y el número de variables. Esto establecerá tu punto de partida.

Nombra tus archivos utilizando un formato de fecha, por ejemplo: household_survey_raw_20260401.xlsx y household_survey_clean_20260401.xlsx. De esta manera, cuando alguien pregunte "¿qué versión analizaste?", podrás responder con total precisión.

Paso 2: detecta y elimina duplicados

Los registros duplicados son más comunes de lo que se podría pensar. Pueden surgir cuando los encuestadores reenvían formularios, los problemas de conectividad provocan cargas dobles o los errores de copiar y pegar generan registros "fantasma".

Cómo verificar:

• Ordena los datos por un ID único (como el ID de encuestado, ID de hogar o UUID de envío) y busca coincidencias exactas.
• Si no dispones de un ID único, ordena por una combinación de ubicación, fecha y nombre del encuestado. Identifica y marca los registros que presenten coincidencias en los tres campos.
• Revisa las marcas de tiempo de envío. Dos registros del mismo encuestador enviados con una diferencia de 60 segundos o menos son, casi con total certeza, duplicados.

Regla de decisión: Si dos registros comparten el mismo ID único y presentan respuestas idénticas en el 90% o más de las variables, elimina el envío posterior y registra esta acción. Si las respuestas difieren significativamente, marca ambos registros para una revisión manual.

Paso 3: verifica la completitud

Cada registro debe contener valores para los campos obligatorios. Si bien la ausencia de algunos datos es normal, un exceso de datos faltantes puede hacer que un registro sea inutilizable.

1. Calcula la tasa de completitud para cada registro: el número de campos obligatorios no vacíos dividido por el total de campos obligatorios.
2. Marca cualquier registro que tenga una tasa de completitud inferior al 80%. Un registro al que le falte una cuarta parte de sus campos obligatorios debe considerarse sospechoso.
3. Para cada registro marcado, revisa los metadatos de envío. ¿Se trató de un envío de prueba? ¿El encuestador lo abandonó a mitad de la entrevista? ¿El encuestado no estuvo disponible después de dar su consentimiento?

Regla de decisión: Los registros con una completitud inferior al 50% son, casi sin excepción, inutilizables. Exclúyelos del análisis y documenta la razón. Los registros con una completitud entre el 50% y el 80% podrían ser utilizables para ciertos indicadores, pero no para otros. No los descartes automáticamente; en su lugar, márcalos como parciales y decide, en función del análisis, cuáles cumplen los criterios.

Asimismo, revisa las columnas en blanco. Si una variable completa no tiene ninguna respuesta, es probable que algo haya fallado con la lógica del formulario o que la variable nunca se haya preguntado. Investiga la causa antes de proceder.

Paso 4: valida la lógica de salto

Los errores en la lógica de salto son la fuente más frecuente de datos incorrectos en las encuestas electrónicas y, si no se verifican sistemáticamente, son fáciles de pasar por alto.

Consulta tu libro de códigos. Para cada pregunta condicional, verifica lo siguiente:

• Que los registros que debían omitirse, realmente se omitieron. Si la pregunta 12 solo aplica a los encuestados que respondieron "Sí" a la pregunta 10, verifica que todos aquellos que respondieron "No" a la pregunta 10 tengan valores en blanco o "N/A" en la pregunta 12.
• Que los registros que debían responder, efectivamente respondieron. Si un encuestado respondió "Sí" a la pregunta 10 pero la pregunta 12 aparece en blanco, esto indica una brecha de datos, no un salto válido.

Cómo hacerlo de manera eficiente: Implementa reglas de filtro sencillas. En Excel, por ejemplo: filtra la columna Q10 por "No" y luego verifica que la columna Q12 esté en blanco para todas las filas filtradas. En R o Stata, esto se resuelve con una verificación lógica de una sola línea por cada patrón de salto.

Regla de decisión: Si un encuestado proporcionó respuestas a preguntas que debieron haberse omitido, esas respuestas son inválidas. Establece sus valores en blanco y registra el cambio. Si un encuestado omitió preguntas que debía haber respondido, marca el registro para revisión, pero nunca fabriques datos.

Paso 5: verifica rangos y marca valores atípicos

Cada variable numérica posee un rango de valores plausible. Un hogar con 47 miembros, una edad de 250 años o un ingreso mensual de $1 son, en todos los casos, indicativos de errores en la entrada o recopilación de datos.

1. Para cada variable numérica, define el rango válido según tu libro de códigos. Por ejemplo: la edad del jefe de hogar debe estar entre 18 y 99 años. El número de niños menores de 5 años debe oscilar entre 0 y 10.
2. Calcula estadísticas descriptivas básicas: mínimo, máximo, media, mediana, desviación estándar.
3. Marca cualquier valor fuera del rango válido como un error.
4. Marca cualquier valor que se encuentre a más de 3 desviaciones estándar de la media como un posible valor atípico que requiere revisión.

Reglas de decisión comunes que puedes aplicar:

No elimines automáticamente los valores atípicos, ya que algunos pueden ser legítimos. Un hogar con 15 miembros puede existir, y un ingreso de $0 podría ser preciso para un hogar en situación de extrema vulnerabilidad. Márcalos, investiga y luego toma una decisión.

Paso 6: ejecuta comprobaciones de consistencia

Las comprobaciones de consistencia permiten detectar contradicciones lógicas que las verificaciones de rango no logran identificar. Estas requieren la referencia cruzada de dos o más variables.

Ejemplos de comprobaciones de consistencia:

• Un encuestado declara no tener hijos, pero luego informa la matrícula escolar de tres.
• La edad declarada de un encuestado es 12 años, pero su ocupación es "maestro".
• Un hogar informa no poseer tierras agrícolas, pero luego declara cantidades de cosecha de cultivos.
• La fecha de nacimiento y la edad declarada difieren en más de un año.
• Una instalación informa cero empleados, pero también reporta cifras de prestación de servicios.

Elabora una lista de entre 10 y 15 comprobaciones de consistencia específicas para tu encuesta. Ejecuta cada una como una prueba lógica e identifica las contradicciones para una revisión manual.

Regla de decisión: No intentes adivinar cuál respuesta es correcta. Si dos variables se contradicen, no es posible determinar cuál es incorrecta basándose únicamente en los datos. Marca el registro y, si es posible, contacta al encuestador o al encuestado. Si no puedes hacerlo, documenta la contradicción y excluye las variables en conflicto (no el registro completo) de los análisis pertinentes.

Paso 7: documenta todo en tu registro de limpieza

Tu registro de limpieza no es opcional; es un requisito fundamental para el aseguramiento de la calidad de los datos y una pista de auditoría indispensable.

Al finalizar los Pasos 2 a 6, tu registro debe contener cada modificación que hayas realizado. Revísalo ahora para asegurar su completitud:

• Cada duplicado eliminado tiene una entrada.
• Cada valor corregido muestra el valor original y el nuevo valor.
• Cada registro excluido tiene una razón.
• Cada valor atípico marcado tiene una resolución (corregido, verificado como preciso o excluido).

Guarda el registro de limpieza junto con el conjunto de datos depurado. Cualquier persona que utilice tus datos debería poder abrir el registro y comprender con exactitud qué se modificó y por qué. Esto es fundamental para una adecuada gestión de datos.

Paso 8: verificación final

Antes de declarar el conjunto de datos como limpio, lleva a cabo una ronda final de verificaciones.

1. Vuelve a contar los registros. Compara el número de registros de tu conjunto de datos limpio con el de los datos brutos. La diferencia debe coincidir exactamente con el número de registros que excluiste o eliminaste, tal como está documentado en tu registro de limpieza.
2. Vuelve a ejecutar las comprobaciones de rango. Verifica que no queden valores fuera de rango.
3. Vuelve a ejecutar las comprobaciones de lógica de salto. Confirma que todos los patrones de salto son ahora consistentes.
4. Verifica manualmente entre 10 y 20 registros al azar. Abre el archivo bruto y el archivo limpio uno al lado del otro. Selecciona registros aleatoriamente y verifica que los cambios coincidan con tu registro.
5. Ejecuta la Tarjeta de puntuación DQA para obtener una evaluación de calidad estructurada de tu conjunto de datos limpio.

Si todo es correcto, renombra tu archivo para indicar que es la versión final: household_survey_clean_FINAL_20260401.xlsx. Bloquea el archivo o configúralo como de solo lectura.

Errores comunes

Error 1: limpiar directamente en el archivo original. Una vez que sobrescribes los datos brutos, estos se pierden irremediablemente. Cada decisión de limpieza se vuelve irreversible e inverificable. Trabaja siempre con una copia y mantén la exportación de datos brutos intacta.

Error 2: eliminar registros en lugar de marcarlos. Eliminar un registro lo suprime de todos los análisis posibles, incluidos aquellos en los que aún no has pensado. En su lugar, márcalo y exclúyelo. Permite que el analista decida qué registros son aptos para cada análisis específico.

Error 3: no mantener un registro de limpieza. Si no puedes explicar qué modificaste y por qué, tu conjunto de datos limpio carecerá de fiabilidad. Cuando un donante audite tus datos o un colega cuestione un hallazgo, la respuesta "Lo limpié, pero no documenté los cambios" no será aceptable.

Error 4: realizar la limpieza de forma individual. La limpieza de datos implica juicios críticos. Una segunda persona debería revisar tus registros marcados y tus decisiones sobre los valores atípicos. Si tu equipo cuenta con un único especialista en datos, asegúrate de que, como mínimo, el gerente de M&E revise el registro de limpieza antes de iniciar el análisis.

Error 5: considerar la limpieza como opcional. Los equipos suelen omitir la limpieza cuando los plazos son ajustados, solo para descubrir problemas durante el análisis, cuando ya es demasiado tarde para corregirlos. Incluye el tiempo de limpieza en tu plan de trabajo desde el inicio. Para una encuesta de línea de base o final, planifica entre 1 y 3 días de limpieza por cada 500 respuestas.

Lista de verificación de limpieza

Imprime esta lista o cópiala en la carpeta de tu proyecto. Marca cada elemento a medida que lo vayas completando.

• Datos brutos exportados y guardados en la carpeta raw/ de solo lectura
• Copia limpia creada en una carpeta clean/ separada
• Plantilla de registro de limpieza abierta con el recuento inicial de registros documentado
• Duplicados identificados y eliminados (envío posterior eliminado, registrado)
• Tasas de completitud calculadas; registros por debajo del 50% excluidos y registrados
• Lógica de salto validada para todas las preguntas condicionales
• Rangos válidos definidos para todas las variables numéricas
• Valores fuera de rango corregidos o marcados
• Valores atípicos revisados (3+ DE de la media) y dispuestos
• Comprobaciones de consistencia ejecutadas (10-15 pruebas lógicas entre variables)
• Contradicciones marcadas y resueltas o documentadas
• Registro de limpieza revisado para verificar su completitud
• Recuento final de registros conciliado con el recuento bruto y el registro de limpieza
• Comprobaciones de rango y lógica de salto vueltas a ejecutar en el conjunto de datos limpio
• 10-20 registros verificados al azar contra los datos brutos
• Archivo limpio renombrado con la etiqueta FINAL y bloqueado
• Registro de limpieza guardado junto con el conjunto de datos limpio