Vue d'ensemble
Les 7 principaux modes de défaillance des contenus générés par l'IA
L'IA génère des contenus de S&E fluides et souvent crédibles au premier abord. Cependant, ils échouent à l'inspection de sept manières prévisibles. Chaque type de défaillance a sa propre méthode de détection et sa solution spécifique.
| # | Mode de défaillance | Description | Fréquence |
|---|---|---|---|
| 1 | Statistiques inventées | Valeurs de référence, cibles ou citations qui semblent spécifiques mais n'ont aucune source | La plupart des productions de l'IA avec des champs numériques |
| 2 | Références de cadres erronées | Conformité affirmée à une norme que l'IA n'a jamais réellement vérifiée | Courant lorsque les invites demandent un résultat aligné sur les bailleurs de fonds |
| 3 | Ruptures de logique | Produits étiquetés comme résultats ; résultats intermédiaires qui ne produisent pas l'impact à long terme déclaré | Courant dans les ébauches de cadres logiques et de Théories du Changement |
| 4 | Manque de spécificité | "Enquête" comme moyen de vérification ; langage de substitution comme "formation appropriée" | Courant dans le contenu des plans S&É&A et de collecte de données |
| 5 | Contenu générique déconnecté | Texte qui se lit bien mais ne reflète pas la Théorie du Changement spécifique de votre programme | Modéré dans les ébauches narratives et de propositions |
| 6 | Erreurs de conformité aux bailleurs de fonds | Mauvaise version d'ADS, indicateurs MER obsolètes, exigences de bailleurs de fonds inventées | Modéré dans le contenu destiné aux bailleurs de fonds |
| 7 | Incohérences contextuelles | Hypothèses culturelles, géographiques ou saisonnières qui ne correspondent pas au programme | Courant dans les contextes pastoraux, de conflit, fragiles |
Une vérification systématique de chaque mode de défaillance prend 30 à 40 % du temps que l'IA vous a fait gagner lors de la rédaction. Négliger cette vérification est la raison principale pour laquelle les travaux de S&E assistés par l'IA échouent à l'examen. Pour une vue d'ensemble du processus de travail avec l'IA, consultez rédiger un cadre logique pour une proposition avec l'IA.
Quand la vérification est-elle essentielle ?
La vérification des productions de l'IA est impérative pour :
Les soumissions aux bailleurs de fonds. Les propositions, plans S&É&A, rapports d'évaluation et autres livrables de conformité sont systématiquement rejetés par les bailleurs de fonds s'ils contiennent des statistiques inventées, des logiques bancales ou des références de cadres erronées. Les examinateurs les identifient rapidement, car ils sont formés à repérer les schémas d'erreurs typiques de l'IA.
Les méthodologies d'évaluation. Les sections méthodologiques, incluant les contrefactuels, les plans d'échantillonnage ou les approches analytiques suggérées par l'IA, doivent être rigoureusement vérifiées au regard de la faisabilité réelle de l'étude. L'IA proposera sans hésiter des ECR (Essais Contrôlés Randomisés) pour des programmes qui n'ont pas les moyens de les mettre en œuvre.
Les documents de conformité. Tout document prétendant s'aligner sur ADS 201, MER, JMP, INEE ou des cadres similaires doit être vérifié par rapport à la version la plus récente du cadre. Les données d'entraînement de l'IA sont souvent obsolètes ; les versions des cadres évoluent constamment.
Les livrables destinés à la publication. Les articles de blog, études de cas, contenus de sites web et résumés d'évaluation publiés représentent un risque pour la réputation. Des chiffres inventés dans des contenus publics peuvent gravement nuire à la crédibilité.
Une vérification moins approfondie peut être acceptable pour les brouillons internes, les sessions de brainstorming et les phases exploratoires où le contenu ne sera pas utilisé sans une relecture humaine préalable.
Les 7 points de contrôle
Vérification 1 : statistiques inventées
L'IA a tendance à combler les champs numériques avec des chiffres qui semblent plausibles. Les valeurs de référence, les cibles, les taux de prévalence, les citations de recherche et les estimations budgétaires suivent tous ce schéma.
Description. Un plan S&É&A généré par l'IA indique que "38 % des ménages de la région cible pratiquent un stockage sûr de l'eau à la situation de référence". Cette donnée semble spécifique et défendable. Pourtant, elle a été inventée. Si l'IA n'a pas eu accès à vos données de référence, elle ne pouvait pas connaître la situation de référence. De même, si elle n'a pas eu accès aux données de référence actuelles des bailleurs de fonds, elle ne pouvait pas fournir le taux de référence actuel.
Comment les détecter. Toute affirmation numérique spécifique dans les productions de l'IA doit impérativement être accompagnée d'une source, faute de quoi elle est suspecte. Posez-vous la question : d'où vient ce chiffre ? Si vous ne pouvez pas le retracer jusqu'à un fichier que vous avez téléchargé, une URL référencée par l'IA ou une statistique largement publiée, considérez-le comme inventé.
Comment les corriger. Remplacez chaque chiffre inventé par l'IA par l'une des options suivantes : (a) vos données réelles, (b) une source citée d'une référence publiée, ou (c) un substitut explicite ("Situation de référence : À déterminer, à collecter au cours de la première année du programme via une enquête CAP"). Ne soumettez jamais de chiffres générés par l'IA comme s'ils étaient avérés.
Vérification 2 : Les références de cadres erronées
L'IA affirmera qu'un indicateur "s'aligne sur USAID MER PREV_FP_ACCEPT" ou "répond aux critères de gestion sûre du JMP" sans avoir réellement vérifié cette conformité. Les noms des cadres sont suffisamment présents dans ses données d'entraînement pour que l'IA les reconnaisse ; en revanche, les définitions spécifiques et actuelles ne le sont pas.
Description. Un projet de cadre logique inclut "Indicateur : Nombre d'hommes et de femmes ayant une meilleure utilisation des services de planification familiale (MER PREV_FP_ACCEPT)". Le code de l'indicateur semble authentique, et la description suit un modèle. Cependant, l'indicateur MER réel n'existe pas sous ce code.
Comment les détecter. Consultez le document de référence du cadre concerné (ADS 201, Manuel des indicateurs MER, échelles de services JMP, critères du CAD de l'OCDE, etc.) et vérifiez chaque code, nom et définition d'indicateur mentionné. Cette vérification prend 2 à 5 minutes par alignement revendiqué.
Comment les corriger. Supprimez ou corrigez toute référence de cadre qui ne se vérifie pas. Si un indicateur est personnalisé, indiquez-le clairement. S'il correspond approximativement à un indicateur de cadre standard, mentionnez cette approximation plutôt que de revendiquer un alignement parfait.
Vérification 3 : Les ruptures de logique
Les Théories du Changement et les cadres logiques générés par l'IA présentent souvent des failles dans leur logique verticale : des produits sont étiquetés comme des résultats, des résultats intermédiaires ne mènent pas de manière plausible à l'impact à long terme déclaré, ou des activités sont étrangement agrégées en produits.
Description. La ligne des résultats indique "500 femmes formées aux compétences commerciales". Il s'agit là d'un produit (un décompte de livrables), et non d'un résultat (un changement observé). Le résultat devrait plutôt être formulé ainsi : "Les femmes formées appliquent leurs compétences commerciales pour créer ou développer des entreprises dans les 6 mois."
Comment les détecter. Parcourez la matrice de bas en haut. Les activités mènent-elles aux produits ? Les produits entraînent-ils des résultats ? Les résultats contribuent-ils à l'objectif ? Si une étape est défaillante (ou si les produits et les résultats sont confondus), la matrice doit être révisée. Consultez comment rédiger un cadre logique pour le test complet de logique verticale.
Comment les corriger. Réécrivez manuellement les lignes ambiguës. N'attendez pas de l'IA qu'elle corrige la logique sans lui avoir d'abord clairement expliqué la défaillance ; l'IA a tendance à produire un deuxième brouillon avec la même erreur structurelle, mais formulée différemment.
Vérification 4 : Le manque de spécificité
L'IA génère des spécificités de substitution là où une précision rigoureuse est requise. Le cas le plus fréquent : les moyens de vérification sont formulés comme "enquête" ou "données de suivi" sans spécifier l'instrument, la fréquence ou la responsabilité.
Description. La colonne 3 du cadre logique mentionne "Enquête". L'hypothèse du cadre logique indique "Les conditions externes restent favorables". La description de la formation précise "Formation appropriée pour les bénéficiaires". Tout cela semble raisonnable, mais rien n'est concrètement exécutable.
Comment le détecter. Pour chaque champ spécifique dans les productions de l'IA, demandez-vous : est-ce suffisamment détaillé pour qu'une personne reprenant ce document dans 6 mois puisse l'exécuter ? Si la réponse est non, il s'agit d'un substitut, et non d'une spécification.
Comment le corriger. Remplacez le langage vague par des instruments nommés, des fréquences précises et des responsabilités clairement définies. "Enquête" devient "Enquête annuelle auprès des ménages (module CAP, septembre) administrée par l'équipe d'enquêteurs de terrain, sous la supervision du responsable S&E." Consultez moyens de vérification pour le niveau de spécificité attendu.
Contenu et conformité
Vérification 5 : Le contenu générique déconnecté du contexte
L'IA génère un texte fluide qui pourrait décrire de nombreux programmes, mais qui ne correspond pas spécifiquement au vôtre. Le signal d'alarme : lire la production de l'IA et avoir l'impression qu'elle aurait pu être rédigée pour un autre programme avec des modifications minimes.
Description. Un narratif de plan S&É&A décrit une "initiative de santé communautaire" générique, avec des méthodes, des risques et des mesures d'atténuation standards. Rien dans le texte ne fait référence à votre géographie spécifique, à vos relations partenariales, à votre modèle de prestation ou à votre Théorie du Changement. Le programme pourrait changer de nom et le texte conviendrait toujours à un autre programme.
Comment le détecter. Lisez le brouillon de l'IA en vous posant la question : qu'est-ce qui est réellement spécifique à ce programme ? Si la seule réponse est "le nom et l'emplacement du programme", alors le contenu est déconnecté. Comparez le brouillon de l'IA à votre Théorie du Changement, à la description de votre programme et à l'ensemble de vos partenaires. Si le brouillon de l'IA ne reflète pas ces spécificités, il est générique.
Comment le corriger. Réécrivez chaque section pour la relier aux caractéristiques distinctives de votre programme. Cette étape n'est pas facultative ; un contenu générique est perçu comme un manque d'expertise par les examinateurs des bailleurs de fonds et ne permet pas une planification d'évaluation rigoureuse.
Vérification 6 : Les erreurs de conformité aux exigences des bailleurs de fonds
Les données d'entraînement de l'IA reflètent les versions des cadres à la date de leur dernière mise à jour. Or, les cadres des bailleurs de fonds sont régulièrement actualisés : les chapitres d'ADS 201 sont révisés, les indicateurs MER sont mis à jour annuellement, les normes SPHERE ont été révisées en 2018 et 2024, et les indicateurs ODD subissent des révisions techniques presque chaque année. L'IA cite fréquemment des versions obsolètes avec une assurance trompeuse.
Description. Une section S&E d'une proposition cite "ADS 201.3.2.4 exige...", alors que la structure actuelle des chapitres a une numérotation différente. Ou un modèle PIRS inclut des champs que l'USAID n'exige plus. Ou encore, un indicateur aligné sur SPHERE utilise une formulation antérieure à 2018.
Comment les détecter. Pour toute citation de cadre, procurez-vous le document de référence actuel (site web du bailleur de fonds, organisme des Nations Unies, plateforme de coordination sectorielle) et vérifiez la version, le numéro de chapitre et l'exigence spécifique. Cette vérification est particulièrement cruciale pour les soumissions aux bailleurs de fonds bilatéraux, dont les examinateurs maîtrisent parfaitement les cadres actuels.
Comment les corriger. Mettez à jour les citations pour qu'elles correspondent aux versions actuelles. Si la production de l'IA reflète des directives obsolètes, réécrivez les sections concernées. Vérifiez la pertinence à chaque cycle de soumission, et pas seulement la première fois.
Vérification 7 : Les incohérences contextuelles
L'IA utilise par défaut des hypothèses génériques propres au secteur du développement. Les contextes pastoraux, les zones affectées par des conflits, les établissements informels urbains et les programmes dans des pays dotés de structures administratives non standard déroutent tous l'IA de manière prévisible.
Description. Un plan S&É&A en sécurité alimentaire pour les communautés pastorales suppose des cycles de collecte de données mensuels basés sur le calendrier. Or, les pasteurs sont transhumants ; les mois calendaires ne correspondent pas à leurs cycles de sécurité alimentaire. De même, un programme de gouvernance en zone de conflit utilise des méthodes de "consultation communautaire" qui présupposent un espace civique stable, ce qui n'est pas le cas dans ce contexte.
Comment les détecter. Pour chaque méthode, fréquence et hypothèse figurant dans les productions de l'IA, vérifiez : cela correspond-il au contexte réel de votre intervention ? Si l'IA a appliqué un modèle générique du secteur du développement à un contexte non standard, une révision est impérative.
Comment les corriger. Réécrivez les méthodes, les fréquences et les hypothèses pour qu'elles s'alignent sur votre contexte spécifique. Faites relire les sections révisées par un conseiller S&E local ou un spécialiste sectoriel avant la finalisation.
Exemples par secteur
Exemples concrets par secteur
Santé : enquête sur la couverture vaccinale en Afrique de l'Est
Un programme de santé a eu recours à l'IA pour rédiger la section méthodologique d'une enquête sur la couverture vaccinale. L'IA a produit une méthodologie claire, citant l'échantillonnage en grappes de l'OMS EPI et des calculs spécifiques d'effet de plan. La vérification a révélé deux problèmes : (a) la valeur spécifique de DEFF citée (1,6) n'avait aucune source, alors que le DEFF typique pour la zone géographique du programme est de 1,8-2,0 ; (b) l'IA affirmait que la méthodologie "s'aligne sur la méthodologie d'échantillonnage en grappes de l'OMS EPI", mais le manuel actuel de l'OMS EPI a révisé ses directives en 2020, et la production de l'IA reflétait les conventions antérieures à 2020. La révision a pris 45 minutes, tandis que le brouillon initial avait été généré en 20 minutes. La méthodologie finale s'est avérée défendable lors de l'examen des bailleurs de fonds.
Éducation : évaluation des résultats d'apprentissage en Asie du Sud
Un programme a rédigé une section d'évaluation des résultats d'apprentissage avec l'aide de l'IA. L'IA a produit une méthodologie alignée sur les "normes INEE" et a cité des instruments d'évaluation spécifiques. La vérification a révélé que deux des instruments cités étaient réels mais destinés à des groupes d'âge différents de ceux ciblés par le programme. De plus, une citation de "norme minimale INEE" faisait référence à une version obsolète, et le plan d'échantillonnage proposé supposait des tailles d'école égales, alors que les écoles réelles variaient de 50 à 400 élèves. La révision a nécessité environ 90 minutes pour corriger ces trois problèmes. La conception finale était adaptée au contexte.
WASH : programme d'approvisionnement en eau en milieu rural, Afrique de l'Ouest
Un programme WASH a rédigé une section de son plan S&É&A avec l'aide de l'IA. L'IA a proposé des enquêtes trimestrielles auprès des ménages dans 80 villages, avec un échantillon de 2 000 ménages par cycle. La vérification a révélé que (a) la taille d'échantillon proposée n'était pas compatible avec le budget S&E (qui ne couvrirait qu'environ 800 ménages par cycle aux taux locaux), (b) l'IA revendiquait un alignement sur l'échelle de services JMP mais utilisait des définitions de catégories antérieures à la révision du JMP, et (c) le moyen de vérification était simplement listé comme "enquête" sans aucun instrument spécifié. La révision a permis de réduire l'échantillon à des niveaux réalisables, d'actualiser les définitions JMP et de spécifier l'instrument réel. Cela a pris environ 60 minutes.
Sécurité alimentaire : moyens de subsistance des populations pastorales au sahel
Un programme de moyens de subsistance a eu recours à l'IA pour rédiger son calendrier de collecte de données saisonnières. L'IA a produit un calendrier trimestriel standard, calqué sur les trimestres calendaires. La vérification, menée avec un conseiller S&E local, a mis en évidence une incohérence contextuelle : les communautés suivent un modèle de transhumance avec des phases de migration qui ne correspondent pas aux trimestres calendaires. Le deuxième trimestre (avril-juin) correspond à la fin de la saison sèche et au début de la migration, et non à une période stable pour la collecte de données. La révision a restructuré le calendrier autour des phases de migration (pré-migration, migration, post-migration, saison des pluies) et a réécrit les spécifications des indicateurs pour permettre une désagrégation saisonnière. Cela a pris environ 2 heures, incluant la consultation avec le conseiller.
Pièges et liste de contrôle
Pièges fréquents
Piège 1 : négliger la vérification sous la pression des délais. Lorsque la soumission d'une proposition est imminente (par exemple, dans les 48 heures), la tentation est grande de livrer la production de l'IA avec un examen minimal. C'est l'habitude la plus préjudiciable ; le temps de vérification n'est pas une option. Intégrez-le dès le début dans votre processus de travail.
Piège 2 : considérer les productions de l'IA comme "globalement correctes". La production de l'IA n'est pas "globalement correcte". Elle est fluide. Ce sont deux qualités distinctes. Un cadre logique rédigé par l'IA peut avoir la bonne structure et 40 % des spécificités exactes. La vérification n'est pas un simple polissage ; c'est un contrôle qualité substantiel.
Piège 3 : omettre la vérification SMART des indicateurs suggérés par l'IA. Chaque indicateur suggéré par l'IA doit impérativement être soumis à une validation SMART avant d'être accepté. Consultez SMART indicators deep-dive. Négliger cette étape permet à des indicateurs formulés avec des verbes vagues de s'infiltrer dans le plan S&É&A.
Piège 4 : accepter les cibles générées par l'IA sans vérification. Les cibles figurant dans les productions de l'IA sont des substituts. Chaque cible doit être validée par rapport à votre situation de référence et à la capacité réelle de votre programme. Copier des cibles non vérifiées issues des brouillons de l'IA est une source fréquente d'engagements irréalisables pour les programmes.
Piège 5 : faire aveuglément confiance aux citations de cadres. L'IA cite les cadres avec assurance, mais souvent de manière incorrecte. Chaque référence de cadre (chapitre ADS, code d'indicateur MER, catégorie JMP, critère CAD, norme INEE, minimum SPHERE) doit être vérifiée par rapport au document de cadre actuel.
Piège 6 : ne pas vérifier les données chiffrées. Les pourcentages, les tailles d'échantillons, les allocations budgétaires et les calendriers sont autant d'éléments que l'IA peut inventer. Chaque chiffre doit être appuyé par une source ou clairement signalé comme un substitut.
Piège 7 : utiliser les productions de l'IA pour une soumission finale aux bailleurs de fonds sans réécriture humaine. Même après vérification, une production de l'IA conserve les traces de son origine. Pour une soumission finale aux bailleurs de fonds, une réécriture humaine, qui ajuste le ton, ajoute la texture spécifique au programme et lisse les particularités structurelles, n'est pas optionnelle.
Piège 8 : confondre la fluidité de l'IA avec sa précision. L'IA écrit de manière fluide. Les examinateurs des bailleurs de fonds lisent rapidement. Cette combinaison engendre une fausse impression de fiabilité quant à l'exactitude du document. Ralentissez et vérifiez ; la fluidité n'est pas un indicateur de qualité.
Liste de contrôle pour la validation des productions de l'IA
Parcourez cette liste pour tout livrable de S&E assisté par l'IA avant sa soumission.
Pour les indicateurs rédigés par l'IA :
- Chaque indicateur réussit la validation SMART (spécifique, mesurable, atteignable, pertinent, temporellement défini)
- Chaque alignement de cadre revendiqué (USAID F, MER, JMP, SPHERE, ODD, etc.) est vérifié par rapport au document de cadre actuel
- Chaque valeur de référence est vérifiée par rapport aux données réelles ou signalée comme un substitut
- Chaque cible est confrontée à la situation de référence et à la capacité du programme
- Chaque source de données est réalisable compte tenu du budget du programme
Pour les cadres logiques et les Théories du Changement rédigés par l'IA :
- La logique verticale est parcourue de bas en haut ; chaque ligne entraîne de manière plausible celle qui la précède
- Les produits et les résultats ne sont pas confondus
- Chaque moyen de vérification précise un instrument concret, une fréquence et une responsabilité
- Chaque hypothèse est vérifiable durant la mise en œuvre
- La Théorie du Changement et le cadre logique sont cohérents entre eux
Pour les narratifs et rapports rédigés par l'IA :
- Le texte est spécifique à ce programme, et non générique
- Les spécificités du programme (géographie, Théorie du Changement, partenaires, modèle de prestation) sont reflétées tout au long du document
- Chaque affirmation chiffrée est sourcée ou explicitement signalée
- Les citations de cadres sont vérifiées par rapport aux versions actuelles
- La cohérence du ton est vérifiée par rapport aux normes de l'organisation
Pour les plans de collecte de données rédigés par l'IA :
- Les méthodes sont réalisables compte tenu du budget et des capacités du programme
- Les tailles d'échantillons sont calculées correctement (effet de plan appliqué, marge de non-réponse incluse)
- L'approche d'échantillonnage est adaptée au contexte du programme (pastoral, conflit, informel urbain, etc.)
- Les instruments sont nommés précisément, et non désignés par "enquête" ou "questionnaire"
Points de contrôle avant soumission :
- Le document complet est relu par un humain, et non simplement vérifié par sondage
- La pertinence contextuelle est confirmée par un conseiller local pour les contextes non standard
- Les exigences de conformité des bailleurs de fonds sont confirmées par rapport au cadre actuel du bailleur de fonds
- Une étape de réécriture humaine est effectuée pour les contenus destinés aux bailleurs de fonds (ton, finition, texture propre au programme)
Pour une vue d'ensemble du processus de rédaction assisté par l'IA, consultez rédiger un cadre logique pour une proposition avec l'IA et comment rédiger un plan S&É&A. Pour le cadre de contrôle qualité dans lequel s'inscrit la vérification de l'IA, consultez assurance de la qualité des données et les 5 dimensions de la qualité des données. Pour les guides pratiques pas à pas assistés par l'IA dont cette vérification valide les productions, consultez la bibliothèque de guides pratiques.