Comment utiliser l'IA pour l'analyse de base et finale
La comparaison des données de base et finales est l'épine dorsale de la mesure d'impact. L'IA peut effectuer les comparaisons, signaler les anomalies et rédiger le narratif, mais seulement si vous structurez l'analyse autour de questions d'évaluation spécifiques.
L'IA excelle à trouver des modèles dans les données, mais elle ne sait pas quels modèles sont pertinents. Commencez toujours par vos questions d'évaluation, et non par « analysez cette feuille de calcul ».
Le flux de travail en 5 étapes pour l'analyse de base et finale
Passez des données d'enquête brutes à un narratif de comparaison défendable. Chaque étape s'appuie sur la précédente pour garantir que l'analyse répond à vos questions d'évaluation réelles.
Aligner les structures de données
Avant toute analyse, demandez à l'IA de comparer vos ensembles de données de base et finales : les noms de variables sont-ils cohérents ? Les options de réponse sont-elles identiques ? Les unités d'échantillonnage sont-elles comparables ? Un désalignement ici invalide tout ce qui suit.
Établir la matrice de comparaison
Créez un tableau associant chaque question d'évaluation à son indicateur, la valeur de base, la valeur finale et la direction attendue du changement. Demandez à l'IA de le remplir à partir de vos données. Cela devient l'épine dorsale de votre analyse.
Effectuer les comparaisons statistiques
Pour chaque indicateur, demandez à l'IA de recommander et d'exécuter le test statistique approprié : chi-carré pour les proportions, test t apparié pour les moyennes, McNemar pour les données binaires appariées. Demandez toujours des intervalles de confiance, pas seulement des valeurs p.
Enquêter sur les anomalies
Demandez à l'IA de signaler les indicateurs où le changement est inattendu : des améliorations là où vous attendiez un déclin, aucun changement malgré un investissement important, ou des changements statistiquement significatifs mais pratiquement insignifiants. Ce sont les résultats qui méritent d'être discutés.
Rédiger le narratif de comparaison
Fournissez la matrice de comparaison et les résultats statistiques à l'IA et demandez-lui de rédiger une section de résultats organisée par question d'évaluation. Chaque résultat doit indiquer : ce qui a changé, dans quelle mesure, si le changement est statistiquement significatif et ce que cela signifie pour le programme.
Analyse de base et finale faible vs. forte
L'écart entre une analyse utile et une simple présentation de données se résume à savoir si l'analyse répond à des questions d'évaluation ou se contente de décrire des chiffres.
Préparation des données
Vous collez l'ensemble de données final dans ChatGPT et dites « Analysez ces données ». L'IA produit des statistiques descriptives pour chaque variable, dont la plupart sont non pertinentes. Vous n'avez pas de base de référence de comparaison et aucun cadre d'interprétation.
Préparation des données
Vous fournissez les deux ensembles de données avec un tableau de correspondance : « Voici mes données de base (n=400) et mes données finales (n=385). Comparez ces 12 indicateurs. La variable X dans la base de référence correspond à la variable X_endline. Signalez toute variable dont le codage a changé entre les cycles. »
Tests statistiques
L'IA exécute des tests t sur tout et rapporte des valeurs p. Vous signalez une « amélioration statistiquement significative » pour les indicateurs où p < 0,05, en ignorant la taille de l'effet, les changements de composition de l'échantillon et les problèmes de comparaisons multiples.
Tests statistiques
L'IA recommande le test approprié par type d'indicateur (proportions vs. moyennes vs. ordinal), rapporte à la fois la valeur p et la taille de l'effet, ajuste pour les comparaisons multiples le cas échéant, et note où la composition de l'échantillon a changé entre les cycles.
Narratif
« L'indicateur X est passé de 34 % à 42 %. » Aucun contexte sur la pertinence, aucune discussion sur le pourquoi, aucune connexion avec les activités du programme, aucune mise en garde sur la qualité des données.
Narratif
« La connaissance des techniques de lavage des mains appropriées est passée de 34 % (n=400) à 42 % (n=385), une différence statistiquement significative (chi-carré = 5,2, p = 0,02). Ce changement coïncide avec la campagne de promotion de l'hygiène au T2-T3. Cependant, l'échantillon final présentait une représentation féminine plus élevée (62 % vs 54 %), ce qui pourrait partiellement expliquer l'augmentation étant donné que les femmes avaient obtenu des scores plus élevés au début. »
5 règles pour l'analyse de base et finale assistée par l'IA
Vérifiez toujours l'alignement des données avant l'analyse
Les noms de variables changent entre les cycles d'enquête. Les options de réponse sont reformulées. De nouvelles catégories sont ajoutées. Demandez à l'IA de produire un tableau de correspondance des variables avant d'effectuer toute comparaison. Dix minutes de vérification de l'alignement permettent d'économiser des jours de conclusions erronées.
Rapporter les tailles d'effet, pas seulement la signification
Un changement statistiquement significatif dans un grand échantillon peut être pratiquement insignifiant. Une augmentation de 2 points de pourcentage avec 2 000 répondants sera « significative » mais pourrait ne pas justifier l'investissement. Demandez toujours à l'IA de calculer et de rapporter les tailles d'effet en plus des valeurs p.
Tenir compte des changements de composition de l'échantillon
Si votre échantillon de base était composé à 50 % de femmes et votre échantillon final à 65 % de femmes, tout indicateur corrélé au genre montrera un changement qui n'a rien à voir avec votre programme. Demandez à l'IA de vérifier la comparabilité démographique et de signaler les écarts.
Relier les résultats aux questions d'évaluation
Chaque résultat doit répondre à une question réellement posée. Structurez votre analyse autour de 4 à 6 questions d'évaluation, et non autour de 30 indicateurs. Demandez à l'IA d'organiser le narratif par question, et non par numéro de variable.
Ne jamais coller de données brutes de bénéficiaires dans une IA cloud
Les ensembles de données de base et finales contiennent souvent des informations personnellement identifiables. Supprimez les noms, les coordonnées GPS, les numéros de téléphone et toute combinaison de village + âge + sexe qui pourrait identifier des individus avant de partager des données avec un outil d'IA.
Prompt pour l'analyse de base et finale
Utilisez ce prompt après avoir nettoyé et aligné vos ensembles de données. Collez les statistiques descriptives ou un échantillon représentatif, et non l'ensemble de données brutes complet.
Je dois comparer les données d'enquête de base et finales pour une évaluation de programme. Questions d'évaluation : 1. [e.g., Did knowledge of proper handwashing improve among target households?] 2. [e.g., Did the proportion of households using improved water sources increase?] 3. [e.g., Did dietary diversity among children under 5 improve?] Résumé des données : - Base de référence : [date, n=X, sampling method] - Finale : [date, n=X, sampling method] - Comparaison démographique clé : [e.g., baseline 54% female, endline 62% female] Données d'indicateurs (coller sous forme de tableau) : | Indicateur | Valeur de base | Valeur finale | Type d'indicateur | |-----------|---------------|---------------|----------------| | [e.g., % HH with handwashing knowledge] | [34%] | [42%] | [proportion] | | [add rows] | | | | Pour chaque indicateur, veuillez : 1. Recommander le test statistique approprié 2. Calculer la statistique de test, la valeur p et la taille de l'effet 3. Signaler si la différence de composition de l'échantillon pourrait biaiser le résultat 4. Évaluer le résultat : preuves solides / preuves modérées / preuves faibles / aucune preuve de changement 5. Rédiger un résultat narratif de 2-3 phrases Ensuite, fournissez un résumé général organisé par question d'évaluation.
Analysez vos données
Associez ce flux de travail aux techniques de nettoyage des données et à la rédaction de rapports d'évaluation pour passer des données brutes à un narratif prêt pour les donateurs.
Related Quick Guides
Comment utiliser l'IA pour le développement d'indicateurs
Assurez-vous de mesurer les bonnes choses avant de les analyser.
Read guideComment nettoyer des données M&E désordonnées avec l'IA
Corrigez les problèmes de qualité des données avant qu'ils ne corrompent vos comparaisons.
Read guideComment utiliser l'IA pour les rapports aux donateurs
Transformez vos résultats de base et finaux en rapports prêts pour les donateurs.
Read guide