Resumen en una página
Lo esencial, los pasos y el prompt listo de esta guía en una sola página.
El Flujo de Trabajo de Limpieza de 4 Pasos
Sigue estos pasos en orden. Cada uno se basa en el anterior, pasando del diagnóstico a la validación impulsada por IA.
1Diagnosticar
Ejecuta facetas de texto y numéricas en cada columna. Cuenta valores únicos, detecta variaciones (Kampala/kampala/KAMPALA) y documenta qué columnas necesitan atención antes de tocar nada.
2Estandarizar
Primero, corrige los campos de texto: recorta espacios, estandariza mayúsculas/minúsculas, luego usa la agrupación (clustering) para fusionar valores similares. Una transformación maneja cientos de registros en segundos.
3Limpiar
Unifica los valores faltantes (reemplaza N/A, ---, null con un único estándar), luego desduplica ordenando por IDs únicos y eliminando copias extra. Documenta cada cambio en un registro de limpieza.
4Validar con IA
Exporta los campos categóricos limpios a ChatGPT o Claude para verificaciones contextuales. La IA detecta lo que la agrupación (clustering) no puede: niveles administrativos incorrectos, lugares mal escritos, entradas fuera de alcance.
Cómo se ven los datos limpios
Ejemplos ilustrativos (cifras inventadas, no resultados de estudios) que muestran lo que cuestan los datos desordenados y lo que produce el flujo de trabajo de limpieza.
Datos de Ubicación
"Kampala, kampala, KAMPALA, Kampal, Kampala District" contados como 5 ubicaciones separadas. El análisis geográfico muestra 5 áreas en lugar de 1. Los informes de cobertura son incorrectos.
Datos de Ubicación
Revise si los nombres se refieren al mismo lugar y al mismo nivel administrativo antes de fusionarlos. Conserve los valores originales y registre el listado geográfico o la fuente que confirma cada corrección aceptada; las grafías parecidas por sí solas no establecen equivalencia.
Valores Faltantes
Una columna de 800 respuestas contiene 87 celdas en blanco, «refused», «n/a» y «-99». El programa las cuenta como respuestas, por lo que el porcentaje de quienes dijeron que sí es incorrecto. Primero establezca qué significa cada código y qué registros pertenecen al denominador (las personas que debían responder).
Valores Faltantes
Conserve por separado los motivos de rechazo, desconocido y no aplicable. Recalcule la proporción de quienes respondieron: respuestas reales de personas elegibles, divididas por todas las personas elegibles. El recuento de 87 celdas faltantes por sí solo no permite conocer la tasa de respuesta ni la respuesta global de la encuesta.
Registros Duplicados
12 encuestados ingresados dos veces en 800 registros. El tamaño de la muestra inflado en un 1.5%. Los promedios de ingresos sesgados porque los hogares duplicados se contaron doble.
Registros Duplicados
Revise con la fuente los 12 registros de encuestados presuntamente duplicados, confirmando visitas repetidas y miembros legítimos del hogar. Elimine solo las copias adicionales confirmadas, conserve los registros originales e informe la muestra observada resultante sin afirmar que representa a toda la población.
5 Reglas para Datos Más Limpios
Nunca edites el archivo original
Trabaja siempre en una copia. Nombra los archivos claramente: "Baseline_Kenya_2024_Raw.csv" para el original, "Baseline_Kenya_2024_CLEAN.csv" para la salida. Si algo falla, puedes empezar de nuevo.
Diagnostica antes de limpiar
Ejecuta facetas en cada columna primero. Cinco minutos de diagnóstico ahorran una hora de limpieza desenfocada. Conoce exactamente qué columnas necesitan qué tipo de corrección.
Mantén un registro de limpieza
Registra cada cambio: ID de registro, nombre del campo, valor original, valor corregido y por qué. Esta pista de auditoría es un requisito de DQA para la mayoría de los donantes y te protege durante la verificación de datos.
Guarda tu historial de operaciones
Exporta tu flujo de trabajo de limpieza como JSON desde OpenRefine. Aplícalo al siguiente conjunto de datos con un solo clic. Cinco conjuntos de datos regionales, una receta de limpieza.
Usa la IA solo después de anonimizar
Elimina nombres, números de teléfono y cualquier PII antes de enviar datos a ChatGPT o Claude para su validación. La validación con IA es potente, pero no vale la pena una violación de la protección de datos.
Prompt de Validación para Copiar y Pegar
Después de limpiar tus datos, exporta la columna que deseas validar y usa este prompt con ChatGPT, Claude o Gemini.
Prompt de Validación de Datos con IA
Estoy limpiando datos de [FIELD TYPE: location / activity / organization / name] de una encuesta en [YOUR COUNTRY OR REGION, e.g., 'Kenya'].
Por favor, revisa esta lista de [NUMBER OF VALUES, e.g., '50'] valores y:
1. Marca cualquier posible error ortográfico o de escritura
2. Marca cualquier valor que parezca sospechoso (no entradas reales para este tipo de campo en este país)
3. Sugiere correcciones donde sean obvias
4. Identifica cualquier caso donde el [VALIDATION LEVEL: administrative level / category / classification] parezca incorrecto
Contexto: [WHAT THE FIELD CONTAINS, e.g., 'county-level locations in Kenya']
Formatea tu respuesta como una tabla:
Valor | Estado (válido / verificar / error) | Corrección Sugerida | Notas
Datos:
[PASTE YOUR VALUES HERE, e.g., 'one value per line']