Le flux de travail en 5 étapes pour l'analyse de la Situation de Référence et de la Situation Finale
Passez des données d'enquête brutes à un narratif de comparaison défendable. Chaque étape s'appuie sur la précédente pour garantir que l'analyse répond à vos questions d'évaluation réelles.
Aligner les structures de données
Avant toute analyse, demandez à l'IA de comparer vos ensembles de données de la situation de référence et de la situation finale : les noms de variables sont-ils cohérents ? Les options de réponse sont-elles identiques ? Les unités d'échantillonnage sont-elles comparables ? Un désalignement ici invalide tout ce qui suit.
Établir la matrice de comparaison
Créez un tableau associant chaque question d'évaluation à son indicateur, la valeur de la situation de référence, la valeur de la situation finale et la direction attendue du changement. Demandez à l'IA de le remplir à partir de vos données. Cela devient l'épine dorsale de votre analyse.
Effectuer les comparaisons statistiques
Pour chaque indicateur, demandez à l'IA de recommander et d'exécuter le test statistique approprié : chi-carré pour les proportions, test t apparié pour les moyennes, McNemar pour les données binaires appariées. Demandez toujours des intervalles de confiance, pas seulement des valeurs p.
Enquêter sur les anomalies
Demandez à l'IA de signaler les indicateurs où le changement est inattendu : des améliorations là où vous attendiez un déclin, aucun changement malgré un investissement important, ou des changements statistiquement significatifs mais pratiquement insignifiants. Ce sont les résultats qui méritent d'être discutés.
Rédiger le narratif de comparaison
Fournissez la matrice de comparaison et les résultats statistiques à l'IA et demandez-lui de rédiger une section de résultats organisée par question d'évaluation. Chaque résultat doit indiquer : ce qui a changé, dans quelle mesure, si le changement est statistiquement significatif et ce que cela signifie pour le programme.
Analyse de la Situation de Référence et de la Situation Finale : faible vs. forte
L'écart entre une analyse utile et une simple présentation de données se résume à savoir si l'analyse répond à des questions d'évaluation ou se contente de décrire des chiffres.
Préparation des données
Vous collez l'ensemble de données de la situation finale dans ChatGPT et dites « Analysez ces données ». L'IA produit des statistiques descriptives pour chaque variable, dont la plupart sont non pertinentes. Vous n'avez pas de point de comparaison et aucun cadre d'interprétation.
Préparation des données
Vous fournissez les deux ensembles de données avec un tableau de correspondance : « Voici mes données de la situation de référence (n=400) et de la situation finale (n=385). Comparez ces 12 indicateurs. La variable X dans la situation de référence correspond à la variable X_endline. Signalez toute variable dont le codage a changé entre les cycles. »
Tests statistiques
L'IA exécute des tests t sur tout et rapporte des valeurs p. Vous signalez une « amélioration statistiquement significative » pour les indicateurs où p < 0,05, en ignorant la taille de l'effet, les changements de composition de l'échantillon et les problèmes de comparaisons multiples.
Tests statistiques
L'IA recommande le test approprié par type d'indicateur (proportions vs. moyennes vs. ordinal), rapporte à la fois la valeur p et la taille de l'effet, ajuste pour les comparaisons multiples le cas échéant, et note où la composition de l'échantillon a changé entre les cycles.
Narratif
« L'indicateur X est passé de 34 % à 42 %. » Aucun contexte sur la pertinence, aucune discussion sur le pourquoi, aucune connexion avec les activités du programme, aucune mise en garde sur la qualité des données.
Narratif
« La connaissance des techniques de lavage des mains appropriées est passée de 34 % (n=400) à 42 % (n=385), une différence statistiquement significative (chi-carré = 5,2, p = 0,02). Ce changement coïncide avec la campagne de promotion de l'hygiène au T2-T3. Cependant, l'échantillon de la situation finale présentait une représentation féminine plus élevée (62 % vs 54 %), ce qui pourrait partiellement expliquer l'augmentation étant donné que les femmes avaient obtenu des scores plus élevés dans la situation de référence. »
5 règles pour l'analyse de la Situation de Référence et de la Situation Finale assistée par l'IA
Vérifiez toujours l'alignement des données avant l'analyse
Les noms de variables changent entre les cycles d'enquête. Les options de réponse sont reformulées. De nouvelles catégories sont ajoutées. Demandez à l'IA de produire un tableau de correspondance des variables avant d'effectuer toute comparaison. Dix minutes de vérification de l'alignement permettent d'économiser des jours de conclusions erronées.
Rapporter les tailles d'effet, pas seulement la signification
Un changement statistiquement significatif dans un grand échantillon peut être pratiquement insignifiant. Une augmentation de 2 points de pourcentage avec 2 000 répondants sera « significative » mais pourrait ne pas justifier l'investissement. Demandez toujours à l'IA de calculer et de rapporter les tailles d'effet en plus des valeurs p.
Tenir compte des changements de composition de l'échantillon
Si votre échantillon de la situation de référence était composé à 50 % de femmes et votre échantillon de la situation finale à 65 % de femmes, tout indicateur corrélé au genre montrera un changement qui n'a rien à voir avec votre programme. Demandez à l'IA de vérifier la comparabilité démographique et de signaler les écarts.
Relier les résultats aux questions d'évaluation
Chaque résultat doit répondre à une question réellement posée. Structurez votre analyse autour de 4 à 6 questions d'évaluation, et non autour de 30 indicateurs. Demandez à l'IA d'organiser le narratif par question, et non par numéro de variable.
Ne jamais coller de données brutes de bénéficiaires dans une IA cloud
Les ensembles de données de la situation de référence et de la situation finale contiennent souvent des informations personnellement identifiables. Supprimez les noms, les coordonnées GPS, les numéros de téléphone et toute combinaison de village + âge + sexe qui pourrait identifier des individus avant de partager des données avec un outil d'IA.
Prompt pour l'analyse de la Situation de Référence et de la Situation Finale
Utilisez ce prompt après avoir nettoyé et aligné vos ensembles de données. Collez les statistiques descriptives ou un échantillon représentatif, et non l'ensemble de données brutes complet.
Comparaison de la Situation de Référence et de la Situation Finale assistée par l'IA
Je dois comparer les données d'enquête de la situation de référence et de la situation finale pour une évaluation de programme.
Questions d'évaluation :
1. [ex. : La connaissance des techniques de lavage des mains appropriées s'est-elle améliorée parmi les ménages ciblés ?]
2. [ex. : La proportion de ménages utilisant des sources d'eau améliorées a-t-elle augmenté ?]
3. [ex. : La diversité alimentaire chez les enfants de moins de 5 ans s'est-elle améliorée ?]
Résumé des données :
- Situation de référence : [date, n=X, méthode d'échantillonnage]
- Situation finale : [date, n=X, méthode d'échantillonnage]
- Comparaison démographique clé : [ex. : situation de référence 54 % femmes, situation finale 62 % femmes]
Données d'indicateurs (coller sous forme de tableau) :
| Indicateur | Valeur (référence) | Valeur (finale) | Type d'indicateur |
|-----------|---------------|---------------|----------------|
| [ex. : % de ménages avec connaissance du lavage des mains] | [34 %] | [42 %] | [proportion] |
| [ajouter des lignes] | | | |
Pour chaque indicateur, veuillez :
1. Recommander le test statistique approprié
2. Calculer la statistique de test, la valeur p et la taille de l'effet
3. Signaler si la différence de composition de l'échantillon pourrait biaiser le résultat
4. Évaluer le résultat : preuves solides / preuves modérées / preuves faibles / aucune preuve de changement
5. Rédiger un résultat narratif de 2-3 phrases
Ensuite, fournissez un résumé général organisé par question d'évaluation.