Antes de empezar
¿Para quién es esta página?
Has finalizado la recopilación de datos y la exportación de los datos brutos ya está en tu carpeta de descargas. Antes de abrirlos y comenzar a generar gráficos, es crucial limpiarlos. Los datos sin depurar conducen a hallazgos erróneos, y estos, a su vez, resultan en decisiones equivocadas.
Esta guía ofrece un protocolo paso a paso para la limpieza de conjuntos de datos de monitoreo y evaluación (M&E) una vez finalizada la recopilación. Abarca desde encuestas de hogares y evaluaciones de instalaciones hasta formularios de monitoreo y cualquier otro dato estructurado que hayas recopilado en campo. Es fundamental seguir los pasos en el orden indicado, sin omitir ninguno.
Antes de empezar
Antes de manipular cualquier celda, necesitarás tres elementos clave:
- Tu exportación de datos brutos. Descárgala directamente de KoboToolbox, SurveyCTO, ODK o la plataforma de recopilación que hayas utilizado. Asegúrate de exportarla en formato XLSX o CSV. Es crucial no abrirla en el editor en línea de la plataforma.
- Tu libro de códigos. Este documento es esencial, ya que define cada variable, sus valores esperados, las reglas de lógica de salto y los rangos válidos. Si aún no cuentas con un libro de códigos, significa que tu proceso de diseño de encuestas omitió un paso fundamental. Créalo ahora, antes de iniciar la limpieza.
- Una plantilla de registro de limpieza. Se trata de una hoja de cálculo con columnas para: ID de registro, nombre de la variable, valor original, nuevo valor, razón del cambio, fecha y la persona que realizó la modificación. Cada edición que realices debe registrarse aquí, sin excepción.
Si tus herramientas de recopilación de datos fueron bien diseñadas, la limpieza resultará un proceso sencillo. Sin embargo, si se omitieron las reglas de validación durante el diseño de la encuesta, prepárate para invertir mucho más tiempo en esta fase.
Copia de seguridad y clasificación (Pasos 1-3)
Paso 1: haz una copia de seguridad y configura tu espacio de trabajo
Nunca, bajo ninguna circunstancia, limpies datos directamente en el archivo original. Nunca.
- Guarda la exportación de datos brutos en una carpeta designada como
raw/o01_raw/. A partir de este momento, este archivo debe considerarse de solo lectura; no lo edites. - Crea una copia de este archivo en una carpeta denominada
clean/o02_clean/. Todas las modificaciones se llevarán a cabo exclusivamente en esta copia. - Abre tu registro de limpieza. Lo irás actualizando de forma continua a medida que avances por los siguientes pasos.
- Registra la fecha, el nombre del archivo bruto, el número de registros y el número de variables. Esto establecerá tu punto de partida.
Nombra tus archivos utilizando un formato de fecha, por ejemplo: household_survey_raw_20260401.xlsx y household_survey_clean_20260401.xlsx. De esta manera, cuando alguien pregunte "¿qué versión analizaste?", podrás responder con total precisión.
Paso 2: detecta y elimina duplicados
Los registros duplicados son más comunes de lo que se podría pensar. Pueden surgir cuando los encuestadores reenvían formularios, los problemas de conectividad provocan cargas dobles o los errores de copiar y pegar generan registros "fantasma".
Cómo verificar:
- Ordena los datos por un ID único (como el ID de encuestado, ID de hogar o UUID de envío) y busca coincidencias exactas.
- Si no dispones de un ID único, ordena por una combinación de ubicación, fecha y nombre del encuestado. Identifica y marca los registros que presenten coincidencias en los tres campos.
- Revisa las marcas de tiempo de envío. Dos registros del mismo encuestador enviados con una diferencia de 60 segundos o menos son, casi con total certeza, duplicados.
Regla de decisión: Si dos registros comparten el mismo ID único y presentan respuestas idénticas en el 90% o más de las variables, elimina el envío posterior y registra esta acción. Si las respuestas difieren significativamente, marca ambos registros para una revisión manual.
Paso 3: verifica la completitud
Cada registro debe contener valores para los campos obligatorios. Si bien la ausencia de algunos datos es normal, un exceso de datos faltantes puede hacer que un registro sea inutilizable.
- Calcula la tasa de completitud para cada registro: el número de campos obligatorios no vacíos dividido por el total de campos obligatorios.
- Marca cualquier registro que tenga una tasa de completitud inferior al 80%. Un registro al que le falte una cuarta parte de sus campos obligatorios debe considerarse sospechoso.
- Para cada registro marcado, revisa los metadatos de envío. ¿Se trató de un envío de prueba? ¿El encuestador lo abandonó a mitad de la entrevista? ¿El encuestado no estuvo disponible después de dar su consentimiento?
Regla de decisión: Los registros con una completitud inferior al 50% son, casi sin excepción, inutilizables. Exclúyelos del análisis y documenta la razón. Los registros con una completitud entre el 50% y el 80% podrían ser utilizables para ciertos indicadores, pero no para otros. No los descartes automáticamente; en su lugar, márcalos como parciales y decide, en función del análisis, cuáles cumplen los criterios.
Asimismo, revisa las columnas en blanco. Si una variable completa no tiene ninguna respuesta, es probable que algo haya fallado con la lógica del formulario o que la variable nunca se haya preguntado. Investiga la causa antes de proceder.
Validación (Pasos 4-6)
Paso 4: valida la lógica de salto
Los errores en la lógica de salto son la fuente más frecuente de datos incorrectos en las encuestas electrónicas y, si no se verifican sistemáticamente, son fáciles de pasar por alto.
Consulta tu libro de códigos. Para cada pregunta condicional, verifica lo siguiente:
- Que los registros que debían omitirse, realmente se omitieron. Si la pregunta 12 solo aplica a los encuestados que respondieron "Sí" a la pregunta 10, verifica que todos aquellos que respondieron "No" a la pregunta 10 tengan valores en blanco o "N/A" en la pregunta 12.
- Que los registros que debían responder, efectivamente respondieron. Si un encuestado respondió "Sí" a la pregunta 10 pero la pregunta 12 aparece en blanco, esto indica una brecha de datos, no un salto válido.
Cómo hacerlo de manera eficiente: Implementa reglas de filtro sencillas. En Excel, por ejemplo: filtra la columna Q10 por "No" y luego verifica que la columna Q12 esté en blanco para todas las filas filtradas. En R o Stata, esto se resuelve con una verificación lógica de una sola línea por cada patrón de salto.
Regla de decisión: Si un encuestado proporcionó respuestas a preguntas que debieron haberse omitido, esas respuestas son inválidas. Establece sus valores en blanco y registra el cambio. Si un encuestado omitió preguntas que debía haber respondido, marca el registro para revisión, pero nunca fabriques datos.
Paso 5: verifica rangos y marca valores atípicos
Cada variable numérica posee un rango de valores plausible. Un hogar con 47 miembros, una edad de 250 años o un ingreso mensual de $1 son, en todos los casos, indicativos de errores en la entrada o recopilación de datos.
- Para cada variable numérica, define el rango válido según tu libro de códigos. Por ejemplo: la edad del jefe de hogar debe estar entre 18 y 99 años. El número de niños menores de 5 años debe oscilar entre 0 y 10.
- Calcula estadísticas descriptivas básicas: mínimo, máximo, media, mediana, desviación estándar.
- Marca cualquier valor fuera del rango válido como un error.
- Marca cualquier valor que se encuentre a más de 3 desviaciones estándar de la media como un posible valor atípico que requiere revisión.
Reglas de decisión comunes que puedes aplicar:
| Verificación | Regla de marcado |
|---|---|
| Duración de la encuesta | Menos de 5 minutos para una encuesta de 30 minutos: marcar para revisión |
| Coordenadas GPS | Más de 50 km del área de encuesta esperada: marcar |
| Edad | Fuera de 0-120: error. Menos de 15 para jefe de hogar: marcar |
| Tamaño del hogar | Más de 20: marcar para revisión |
| Ingresos/gastos | Cero para todas las categorías: marcar. 1% superior: verificar |
No elimines automáticamente los valores atípicos, ya que algunos pueden ser legítimos. Un hogar con 15 miembros puede existir, y un ingreso de $0 podría ser preciso para un hogar en situación de extrema vulnerabilidad. Márcalos, investiga y luego toma una decisión.
Paso 6: ejecuta comprobaciones de consistencia
Las comprobaciones de consistencia permiten detectar contradicciones lógicas que las verificaciones de rango no logran identificar. Estas requieren la referencia cruzada de dos o más variables.
Ejemplos de comprobaciones de consistencia:
- Un encuestado declara no tener hijos, pero luego informa la matrícula escolar de tres.
- La edad declarada de un encuestado es 12 años, pero su ocupación es "maestro".
- Un hogar informa no poseer tierras agrícolas, pero luego declara cantidades de cosecha de cultivos.
- La fecha de nacimiento y la edad declarada difieren en más de un año.
- Una instalación informa cero empleados, pero también reporta cifras de prestación de servicios.
Elabora una lista de entre 10 y 15 comprobaciones de consistencia específicas para tu encuesta. Ejecuta cada una como una prueba lógica e identifica las contradicciones para una revisión manual.
Regla de decisión: No intentes adivinar cuál respuesta es correcta. Si dos variables se contradicen, no es posible determinar cuál es incorrecta basándose únicamente en los datos. Marca el registro y, si es posible, contacta al encuestador o al encuestado. Si no puedes hacerlo, documenta la contradicción y excluye las variables en conflicto (no el registro completo) de los análisis pertinentes.
Aprobación final (Pasos 7-8)
Paso 7: documenta todo en tu registro de limpieza
Tu registro de limpieza no es opcional; es un requisito fundamental para el aseguramiento de la calidad de los datos y una pista de auditoría indispensable.
Al finalizar los Pasos 2 a 6, tu registro debe contener cada modificación que hayas realizado. Revísalo ahora para asegurar su completitud:
- Cada duplicado eliminado tiene una entrada.
- Cada valor corregido muestra el valor original y el nuevo valor.
- Cada registro excluido tiene una razón.
- Cada valor atípico marcado tiene una resolución (corregido, verificado como preciso o excluido).
Guarda el registro de limpieza junto con el conjunto de datos depurado. Cualquier persona que utilice tus datos debería poder abrir el registro y comprender con exactitud qué se modificó y por qué. Esto es fundamental para una adecuada gestión de datos.
Paso 8: verificación final
Antes de declarar el conjunto de datos como limpio, lleva a cabo una ronda final de verificaciones.
- Vuelve a contar los registros. Compara el número de registros de tu conjunto de datos limpio con el de los datos brutos. La diferencia debe coincidir exactamente con el número de registros que excluiste o eliminaste, tal como está documentado en tu registro de limpieza.
- Vuelve a ejecutar las comprobaciones de rango. Verifica que no queden valores fuera de rango.
- Vuelve a ejecutar las comprobaciones de lógica de salto. Confirma que todos los patrones de salto son ahora consistentes.
- Verifica manualmente entre 10 y 20 registros al azar. Abre el archivo bruto y el archivo limpio uno al lado del otro. Selecciona registros aleatoriamente y verifica que los cambios coincidan con tu registro.
- Ejecuta la para obtener una evaluación de calidad estructurada de tu conjunto de datos limpio.
Si todo es correcto, renombra tu archivo para indicar que es la versión final: household_survey_clean_FINAL_20260401.xlsx. Bloquea el archivo o configúralo como de solo lectura.
Errores y lista de verificación
Errores comunes
Error 1: limpiar directamente en el archivo original. Una vez que sobrescribes los datos brutos, estos se pierden irremediablemente. Cada decisión de limpieza se vuelve irreversible e inverificable. Trabaja siempre con una copia y mantén la exportación de datos brutos intacta.
Error 2: eliminar registros en lugar de marcarlos. Eliminar un registro lo suprime de todos los análisis posibles, incluidos aquellos en los que aún no has pensado. En su lugar, márcalo y exclúyelo. Permite que el analista decida qué registros son aptos para cada análisis específico.
Error 3: no mantener un registro de limpieza. Si no puedes explicar qué modificaste y por qué, tu conjunto de datos limpio carecerá de fiabilidad. Cuando un donante audite tus datos o un colega cuestione un hallazgo, la respuesta "Lo limpié, pero no documenté los cambios" no será aceptable.
Error 4: realizar la limpieza de forma individual. La limpieza de datos implica juicios críticos. Una segunda persona debería revisar tus registros marcados y tus decisiones sobre los valores atípicos. Si tu equipo cuenta con un único especialista en datos, asegúrate de que, como mínimo, el gerente de M&E revise el registro de limpieza antes de iniciar el análisis.
Error 5: considerar la limpieza como opcional. Los equipos suelen omitir la limpieza cuando los plazos son ajustados, solo para descubrir problemas durante el análisis, cuando ya es demasiado tarde para corregirlos. Incluye el tiempo de limpieza en tu plan de trabajo desde el inicio. Para una encuesta de línea de base o final, planifica entre 1 y 3 días de limpieza por cada 500 respuestas.
Lista de verificación de limpieza
Imprime esta lista o cópiala en la carpeta de tu proyecto. Marca cada elemento a medida que lo vayas completando.
- Datos brutos exportados y guardados en la carpeta
raw/de solo lectura - Copia limpia creada en una carpeta
clean/separada - Plantilla de registro de limpieza abierta con el recuento inicial de registros documentado
- Duplicados identificados y eliminados (envío posterior eliminado, registrado)
- Tasas de completitud calculadas; registros por debajo del 50% excluidos y registrados
- Lógica de salto validada para todas las preguntas condicionales
- Rangos válidos definidos para todas las variables numéricas
- Valores fuera de rango corregidos o marcados
- Valores atípicos revisados (3+ DE de la media) y dispuestos
- Comprobaciones de consistencia ejecutadas (10-15 pruebas lógicas entre variables)
- Contradicciones marcadas y resueltas o documentadas
- Registro de limpieza revisado para verificar su completitud
- Recuento final de registros conciliado con el recuento bruto y el registro de limpieza
- Comprobaciones de rango y lógica de salto vueltas a ejecutar en el conjunto de datos limpio
- 10-20 registros verificados al azar contra los datos brutos
- Archivo limpio renombrado con la etiqueta FINAL y bloqueado
- Registro de limpieza guardado junto con el conjunto de datos limpio