Forces et faiblesses de l'IA
L'IA est un outil de rédaction, non de raisonnement. Elle structure efficacement l'information lorsque l'input est solide, mais génère un résultat plausible mais générique lorsque l'input est faible. Voici la répartition de ce que l'IA gère bien et moins bien dans la rédaction d'un cadre logique :
| Ce que l'IA fait bien | Ce que l'IA fait moins bien |
|---|---|
| Structurer la matrice quatre par quatre à partir d'un descriptif de programme non structuré | Vérifier la cohérence de la logique verticale |
| Générer des indicateurs potentiels adaptés à un secteur ou à une description de résultat | Ancrer la spécificité des indicateurs dans le contexte local du programme |
| Formuler des hypothèses sous la forme "si X, alors Y" | Identifier les hypothèses réellement critiques |
| Adapter le résultat à la structure du modèle du bailleur de fonds (PMP USAID, cadre logique FCDO, cadre logique UE) | Évaluer la faisabilité des moyens de vérification au regard du budget réel |
| Assurer une cohérence linguistique sur l'ensemble des lignes | Distinguer clairement les produits des résultats |
| Suggérer des variables de désagrégation pour les ventilations démographiques standard | Recommander des tailles d'échantillon (voir comment choisir la taille de l'échantillon) |
En résumé : l'IA excelle dans la structure, le volume et la cohérence. Elle est moins performante pour le jugement, le contexte local et la faisabilité. L'IA rédige, l'humain valide. Pour le processus manuel que cette approche assistée par l'IA remplace, consultez comment rédiger un cadre logique.
Le processus en cinq étapes
La rédaction d'un cadre logique avec l'aide de l'IA prend généralement 1 à 2 heures, à condition de suivre la méthodologie. Chaque étape aboutit à un livrable spécifique.
| # | Étape | Durée estimée | Livrable |
|---|---|---|---|
| 1 | Rassembler le dossier de contexte | 15-30 min | Inputs consolidés : Théorie du Changement, modèle du bailleur de fonds, description du programme, contraintes de la bibliothèque d'indicateurs. |
| 2 | Rédiger avec des instructions solides | 15-20 min | Première ébauche de cadre logique générée par l'IA, couvrant les quatre niveaux et les quatre colonnes. |
| 3 | Tester la logique verticale | 15-20 min | Cadre logique révisé, avec les liens de causalité défaillants corrigés. |
| 4 | Vérifier chaque indicateur selon les critères SMART | 20-30 min | Chaque indicateur proposé par l'IA validé ou remplacé. |
| 5 | Vérifier la faisabilité des MdV | 15-20 min | Moyens de vérification compatibles avec le budget réel. |
Sauter les étapes 3 à 5 est l'erreur la plus fréquente. Les équipes soumettent des cadres logiques rédigés par l'IA directement dans les propositions sans validation, et les examinateurs détectent le contenu générique, les spécificités inventées ou la logique défaillante. Le temps consacré à la révision est ce qui distingue un cadre logique solide d'un cadre qui ne passe pas l'examen.
Étape 1 : rassembler le dossier de contexte
La qualité du résultat de l'IA dépend davantage de la qualité de l'input que de l'outil d'IA utilisé. Cinq documents clés composent le dossier de contexte.
Théorie du Changement (obligatoire). La Théorie du Changement finalisée est l'input le plus crucial. Objectif à long terme, résultats intermédiaires, produits, activités et hypothèses. Voir comment rédiger une Théorie du Changement. Si votre Théorie du Changement est une ébauche d'un paragraphe, l'IA complétera les lacunes avec un contenu générique mais plausible. Si votre Théorie du Changement fait 3 à 5 pages avec des hypothèses et des preuves, l'IA opérationnalisera cette structure en un cadre logique cohérent.
Modèle de cadre logique du bailleur de fonds. Le modèle structurel que l'IA devra compléter. Le PMP de l'USAID a des exigences PIRS spécifiques ; le FCDO utilise une structure de cadre logique différente ; l'UE utilise la sienne. Fournissez à l'IA le modèle exact que vous comptez soumettre. Si vous n'avez pas de modèle, une matrice générique à quatre par quatre colonnes (résumé narratif, indicateurs, moyens de vérification, hypothèses) peut être utilisée.
Description du programme. Un résumé d'une ou deux pages décrivant les actions du programme, son lieu d'intervention, ses bénéficiaires et son échelle. L'IA génère un résultat plus précis lorsqu'il est ancré dans des spécificités concrètes.
Contraintes de la bibliothèque d'indicateurs (facultatif). Si vous utilisez des indicateurs standard du bailleur de fonds (USAID F, PEPFAR MER, GEF Core, JMP WASH, etc.) ou des indicateurs organisationnels internes, fournissez-lui le sous-ensemble pertinent. Cela évitera à l'IA d'inventer des indicateurs et assurera l'alignement du résultat avec vos cadres de référence. Voir indicateurs personnalisés ou standard.
Contraintes budgétaires et de portée (facultatif). Si vous connaissez le budget S&E, la taille d'échantillon visée ou les contraintes de fréquence de collecte de données, intégrez ces informations. Elles influenceront les moyens de vérification suggérés par l'IA.
Étape 2 : rédiger avec des instructions solides
Copiez-collez le dossier de contexte et demandez à l'IA de générer un cadre logique. Une instruction solide comprend trois éléments.
Cadrage clair de la tâche. "Rédigez un cadre logique pour ce programme aligné sur le modèle [bailleur de fonds], en utilisant la Théorie du Changement, la description du programme et la bibliothèque d'indicateurs fournis. Procédez de l'objectif à long terme vers l'arrière (objectif, résultats, produits, activités), puis remplissez les indicateurs, les moyens de vérification et les hypothèses pour chaque ligne."
Contraintes explicites.
- "N'inventez pas de situations de référence, de cibles ou de statistiques spécifiques. Utilisez un texte de remplacement tel que
[situation de référence : À déterminer]pour tout champ numérique." - "Ne citez pas d'études ou de recherches spécifiques qui ne sont pas incluses dans le contexte fourni."
- "Pour chaque hypothèse, formulez-la de manière testable : une condition spécifique vérifiable durant la mise en œuvre."
- "Pour chaque moyen de vérification, spécifiez une source de données et une méthode précises, plutôt que des termes génériques comme 'enquête' ou 'données de suivi'."
Format de sortie. Spécifiez le format exact souhaité : tableau Markdown, texte structuré ou un modèle spécifique. Si le modèle du bailleur de fonds est un fichier .docx, décrivez sa structure à l'IA et demandez un résultat qui y corresponde.
Ce que vous obtiendrez est une première ébauche de cadre logique. Elle présentera une structure utile, mais aussi des spécificités potentiellement douteuses. Les étapes 3 et suivantes constituent le travail de validation indispensable.
Étape 3 : tester la logique verticale
Le test de logique verticale consiste à se demander : chaque niveau produit-il de manière plausible le niveau supérieur ? L'IA génère souvent des cadres logiques qui semblent complets mais dont la logique verticale est défaillante, en particulier au niveau du lien produit-résultat.
Parcourez la matrice ébauchée de bas en haut :
- Les activités produisent-elles les produits tels qu'ils sont décrits ?
- Les produits génèrent-ils de manière plausible les résultats ? (C'est souvent là que l'IA rencontre des difficultés : produits et résultats sont confondus, ou les produits sont trop déconnectés des résultats.)
- Les résultats contribuent-ils de manière plausible à l'objectif ?
Défaillances logiques courantes générées par l'IA :
- Produits étiquetés comme résultats ("Nombre de femmes formées" dans la ligne des résultats, alors qu'il devrait figurer dans la ligne des produits).
- Résultats formulés comme des produits agrégés ("5 000 femmes atteintes" dans la ligne des résultats).
- Objectif déconnecté des résultats intermédiaires (objectif au niveau de la population, mais résultats au niveau des participants individuels au programme, sans lien explicite).
- Activités qui ne génèrent pas les produits qu'elles sont censées produire.
Lorsque la logique est défaillante, réécrivez manuellement. Ne demandez pas à l'IA de corriger sans d'abord articuler précisément le problème ; l'IA produira souvent une deuxième ébauche présentant la même erreur structurelle, sous une formulation légèrement différente.
Étape 4 : vérifier chaque indicateur selon les critères SMART
Les indicateurs générés par l'IA peuvent être de qualité très variable. Chaque indicateur doit impérativement passer le test SMART avant d'être accepté. Consultez approfondissement des indicateurs SMART pour les critères détaillés.
Comptez cinq minutes par indicateur. Pour chacun d'eux :
- Spécifique : Deux enquêteurs pourraient-ils interpréter cet indicateur et collecter les données de la même manière ?
- Mesurable : Existe-t-il une source de données et une méthode de collecte réalisables ?
- Atteignable : Ce programme peut-il plausiblement générer le changement visé ? (Si l'IA a inséré des cibles spécifiques, celles-ci requièrent une validation indépendante basée sur les données de référence, et non une simple acceptation.)
- Pertinent : L'indicateur est-il pertinent pour une décision ou une exigence de rapport, ou s'agit-il d'un simple remplissage ?
- Temporellement défini : L'intervalle de mesure est-il clairement défini ?
Problèmes fréquents avec les indicateurs proposés par l'IA :
- Verbes vagues ("amélioré", "renforcé", "accru") sans définitions opérationnelles claires.
- Cibles ou situations de référence entièrement inventées.
- Indicateurs issus d'enquêtes génériques ou de "systèmes de suivi" manquant de spécificité.
- Indicateurs dupliqués ou quasi-dupliqués à différents niveaux.
Utilisez l'outil Vérificateur d'indicateurs SMART pour valider systématiquement chaque indicateur. Réécrivez, remplacez ou supprimez tout indicateur qui ne satisfait pas aux critères.
Étape 5 : vérifier la faisabilité des MdV
Les moyens de vérification sont le point où le résultat de l'IA dépasse le plus souvent les capacités réelles d'exécution du programme. L'IA propose des MdV qui semblent réalisables (enquête auprès des ménages, registres administratifs, données de tiers) sans tenir compte du budget ou des capacités réels.
Pour chaque moyen de vérification de l'ébauche :
- Un budget est-il alloué à cette collecte de données (voir budget de collecte de données) ?
- Le personnel dispose-t-il de la capacité nécessaire pour l'exécuter à la fréquence spécifiée ?
- La source est-elle réellement disponible ? (L'IA suggère parfois des sources de données inexistantes dans un contexte donné.)
- La fréquence correspond-elle au cycle de décision qu'elle doit éclairer ?
Lorsque les MdV ne sont pas réalisables, ajustez l'indicateur (mesure moins fréquente, échantillon plus petit, méthode plus simple) ou supprimez-le entièrement. Ne soumettez pas un cadre logique avec des MdV ambitieux que le programme ne pourra pas mettre en œuvre. Consultez moyens de vérification pour les critères de faisabilité.
Intégrer les outils MEStudio
Trois outils MEStudio facilitent le processus de rédaction de cadre logique assisté par l'IA :
Bibliothèque d'indicateurs (/indicators). Filtrez par secteur, parcourez les indicateurs alignés sur les cadres des bailleurs de fonds et utilisez-les comme input pour les instructions de suggestion d'indicateurs de l'IA. Cela empêche l'IA d'inventer des indicateurs lorsque des alternatives validées existent.
Guide sur la théorie du changement (/resources/reference/theory-of-change). Structurez votre Théorie du Changement en suivant ce guide de référence, puis fournissez ce résultat structuré à l'IA. Cela produit des cadres logiques plus cohérents qu'une Théorie du Changement en texte libre.
Vérificateur d'indicateurs SMART (/tools/smart-indicator-checker). Passez chaque indicateur proposé par l'IA à travers cet outil avant de l'accepter. Il détecte les schémas de verbes vagues et de définitions manquantes que l'IA génère fréquemment.
Pour le processus de proposition plus large, consultez comment rédiger la section S&E de la proposition. Pour la structure du plan de S&E sous-jacent, consultez comment rédiger un plan de S&E.
Exemples sectoriels
Santé : proposition de programme de prévention du VIH, Afrique de l'Est
Une proposition de programme de santé requérait un cadre logique aligné sur le PEPFAR MER. L'équipe S&E a utilisé Claude avec un dossier de contexte incluant : une Théorie du Changement de 4 pages, le sous-ensemble d'indicateurs PEPFAR MER pour la prévention du VIH, la description du programme et le budget préliminaire. L'IA a généré une première ébauche de cadre logique en 18 minutes. La validation a identifié trois problèmes : deux indicateurs PEPFAR MER étaient mal attribués au niveau des produits au lieu de celui des résultats ; un indicateur personnalisé proposé par l'IA présentait une définition vague ("acceptation communautaire du dépistage du VIH") ; les MdV pour un indicateur de résultat prévoyaient une enquête trimestrielle de la population que le budget ne pouvait pas couvrir. La révision a pris 40 minutes. Le cadre logique final comportait 14 indicateurs (9 standard PEPFAR MER, 5 personnalisés), a passé l'examen interne avec une modification mineure et a été soumis dans les délais.
Éducation : programme d'éducation des filles, asie du sud
Une proposition d'éducation requérait un cadre logique aligné sur la structure du FCDO et les normes INEE. Le responsable S&E a fourni à ChatGPT une Théorie du Changement, le modèle du FCDO et une description du programme axée sur le mentorat et l'engagement communautaire. La première ébauche présentait une matrice quatre par quatre structurellement solide, mais contenait trois indicateurs génériques ("attitudes communautaires", "soutien parental") sans définitions opérationnelles. La validation les a remplacés par trois indicateurs personnalisés, opérationnalisant des comportements spécifiques (mères ayant discuté de l'éducation avec leurs filles le mois dernier ; réunions communautaires incluant l'éducation des filles à l'ordre du jour ; pères ayant assisté aux événements scolaires). Temps total de rédaction et de validation : 90 minutes. L'ébauche soumise a été approuvée par le bailleur de fonds dès le premier examen.
WASH : proposition de durabilité de l'eau communautaire, Afrique de l'Ouest
Une proposition WASH a rédigé son cadre logique en utilisant Gemini avec comme inputs une Théorie du Changement, des définitions de l'échelle JMP, la description du programme et le modèle de cadre logique du bailleur de fonds. La première ébauche incluait des indicateurs de résultat correctement alignés sur le JMP. La validation a détecté deux spécificités inventées par l'IA : une situation de référence de "35 % d'accès à l'eau gérée en toute sécurité" sans aucune source (la situation de référence réelle devait être collectée durant la première année du programme, et l'IA avait inséré une valeur plausible mais fictive), et une référence à une enquête nationale auprès des ménages qui n'existait pas à la fréquence implicite. Ces deux spécificités ont été remplacées par des notes de substitution. Temps total : 75 minutes.
Sécurité alimentaire : proposition de moyens de subsistance des pasteurs, sahel
Une proposition de sécurité alimentaire requérait un cadre logique intégrant une désagrégation saisonnière (transhumance vs sédentaire) aux indicateurs de résultat. L'équipe S&E a fourni à Claude une Théorie du Changement, les définitions des indicateurs HFIAS et FCS, et une description du programme spécifiant la collecte de données saisonnières. La première ébauche a bien structuré le cadre, mais a omis la désagrégation saisonnière dans la plupart des indicateurs. La validation a ajouté la désagrégation à 6 des 10 indicateurs et a remplacé 2 indicateurs proposés par l'IA qui ne correspondaient pas au contexte pastoral. Total : 85 minutes.
Pièges courants
Piège 1 : ignorer l'étape de la Théorie du Changement et fournir à l'IA une description de programme sommaire. L'IA générera un cadre logique générique d'apparence plausible. L'examen révélera les lacunes. La Théorie du Changement est l'input le plus important ; rédigez-la avant de commencer la rédaction du cadre logique.
Piège 2 : accepter les situations de référence et les cibles inventées par l'IA. L'IA comble les lacunes numériques avec des chiffres plausibles mais sans source vérifiable. Chaque situation de référence, cible et statistique spécifique doit provenir de vos données ou être clairement identifiée comme un espace réservé.
Piège 3 : soumettre le résultat de l'IA sans validation SMART. L'IA propose de nombreux indicateurs qui ne satisfont pas aux critères SMART. Chaque indicateur requiert cinq minutes de validation avant d'être accepté.
Piège 4 : accepter des moyens de vérification vagues. L'IA propose souvent des MdV génériques comme "enquête" ou "données de suivi". Ces termes doivent être remplacés par des sources, des méthodes, des fréquences et des parties responsables spécifiques pour que le cadre logique soit exploitable.
Piège 5 : ne pas tester la logique verticale. Le résultat de l'IA peut sembler cohérent en surface, mais présenter une logique verticale défaillante. Parcourez la matrice de bas en haut pour détecter les incohérences logiques.
Piège 6 : utiliser l'IA pour générer la Théorie du Changement ainsi que le cadre logique. L'IA génère des ébauches de Théorie du Changement génériques qui, bien que plausibles, ne reflètent pas la logique spécifique de votre programme. La Théorie du Changement doit être rédigée par un humain ; le cadre logique, lui, peut être rédigé par l'IA.
Piège 7 : laisser l'IA deviner les exigences de conformité du bailleur de fonds. Si le bailleur de fonds a un modèle de cadre logique spécifique, un format PIRS ou une liste d'indicateurs obligatoires, fournissez-les à l'IA. Ne laissez pas l'IA deviner les exigences du bailleur de fonds.
Piège 8 : considérer le résultat de l'IA comme un produit fini plutôt qu'une première ébauche. Deux heures de validation rigoureuse permettent d'obtenir un cadre logique solide. Soumettre directement des cadres logiques rédigés par l'IA est l'erreur la plus fréquente.
Liste de contrôle pour l'examen du cadre logique par l'IA
Parcourez cette liste avant de considérer un cadre logique rédigé avec l'aide de l'IA comme finalisé.
Dossier de contexte :
- Théorie du Changement finalisée fournie à l'IA
- Structure du modèle du bailleur de fonds fournie
- Description du programme spécifique à ce programme fournie
- Contraintes de la bibliothèque d'indicateurs fournies (si utilisation d'indicateurs standard)
Qualité de l'instruction :
- L'IA a été explicitement instruite de ne pas inventer de situations de référence ou de statistiques spécifiques
- L'IA a été instruite de rédiger des hypothèses testables
- L'IA a été instruite de spécifier les moyens de vérification, et non une "enquête" générique
Validation du résultat :
- Logique verticale testée de bas en haut (chaque niveau produit de manière plausible le niveau supérieur)
- Chaque indicateur a passé la validation SMART (voir approfondissement des indicateurs SMART)
- Produits et résultats non confondus
- Chaque moyen de vérification est réalisable par rapport au budget réel
Conformité et exactitude :
- Indicateurs requis par le bailleur de fonds inclus sans modification
- Aucune statistique ou situation de référence inventée
- Espaces réservés clairement marqués là où les données seront collectées ultérieurement
- Le cadre logique s'aligne sur la Théorie du Changement et le narratif de la proposition
Intégration :
- Indicateurs recoupés avec la Bibliothèque d'indicateurs, le cas échéant
- Validé via le Vérificateur d'indicateurs SMART
- Examiné par rapport à la liste de contrôle pour la rédaction d'un cadre logique
Pour le processus de proposition complet, consultez comment rédiger la section S&E de la proposition. Pour la Théorie du Changement qui l'accompagne, consultez comment rédiger une Théorie du Changement. Pour le plan de S&E que ce cadre logique opérationnalise, consultez comment rédiger un plan de S&E. Pour un processus étape par étape assisté par l'IA, consultez le guide pratique de la Théorie du Changement.