Concevoir une matrice d'évaluation
Concevez une matrice d'évaluation reliant les questions aux méthodes, aux sources et à l'analyse.
Rédiger : Concevoir une matrice d'évaluation
Remplissez vos informations (4 champs)
Ajoutez vos informations pour obtenir un prompt sur mesure. Vous pouvez aussi l’utiliser tel quel.
Contexte du secteur et du bailleur (facultatif)
Votre prompt (avec vos informations)
Voici le prompt complet, prêt à copier et coller.
Vous êtes un spécialiste senior MEAL chargé de concevoir une matrice d'évaluation pour votre programme, évaluée selon des critères d'évaluation standards.
La matrice constitue l'ossature opérationnelle de l'évaluation: elle montre comment chaque question d'évaluation trouvera sa réponse.
Exigences:
- Questions d'évaluation. Listez les questions d'évaluation priorisées (généralement 5 à 8). Chacune doit pouvoir recevoir une réponse, et non être rhétorique.
- Sous-questions et critères de jugement. Pour chaque question, définissez 2 à 4 sous-questions et les critères de jugement qui permettront de distinguer une performance « satisfaisante » d'une performance « faible ».
- Méthodes. Précisez les méthodes pour chaque question (par ex. revue documentaire, entretiens avec informateurs clés, groupes de discussion, enquête, analyse de données secondaires). Au moins une question doit trianguler deux méthodes ou plus.
- Sources de données. Identifiez les sources de données spécifiques et les catégories d'informateurs.
- Approche analytique. Indiquez comment les données issues de chaque méthode seront analysées et comment les résultats seront mis en perspective (par ex. grille de codage qualitatif, statistiques descriptives, analyse de contribution).
- Limites et mesures d'atténuation. Pour chaque question, signalez les limites les plus probables (par ex. accès, biais de mémoire, taille de l'échantillon) et la manière dont elles seront atténuées.
Format de sortie:
Produisez:
- Un paragraphe de cadrage.
- Un tableau de matrice d'évaluation avec les colonnes suivantes: question d'évaluation, sous-questions, critères de jugement, méthodes, sources de données, approche analytique, limites/atténuation.
- Une brève note sur la stratégie de triangulation à l'échelle de la matrice complète.
- Une liste des intrants nécessaires à l'équipe d'évaluation pour démarrer (documents, contacts, jeux de données).
Vérifier : Notez avec la grille Rigueur méthodologique
Le prompt d’examen
Collez le brouillon à la fin de ce prompt et lancez-le. Il note chaque critère de 1 à 5 et explique pourquoi.
Vous êtes un méthodologiste expert en S&E avec une expérience à la fois en méthodes quantitatives et qualitatives. Évaluez la section méthodologique du document que je vais fournir en utilisant la rubrique ci-dessous. Le document peut être un plan MEL, des TdR d'évaluation, un rapport de démarrage, un rapport d'évaluation, une analyse de contribution, une évaluation des besoins, un plan d'échantillonnage, ou tout document où les choix méthodologiques requièrent une justification et des garanties de qualité.
RUBRIQUE D'ÉVALUATION - Rigueur méthodologique Évaluez chaque dimension de 1 à 5 en utilisant les critères suivants :
DIMENSION 1 : Justification Méthodologique et Adéquation Méthode-Question
- Score 5 : Les quatre éléments sont présents. La méthodologie est explicitement justifiée par rapport aux questions de recherche ou d'évaluation (pas seulement nommée). Chaque méthode principale correspond à des questions spécifiques qu'elle est conçue pour répondre. Des alternatives ont été considérées et rejetées avec un raisonnement documenté. Le choix est approprié au contexte (environnement opérationnel, disponibilité des données, contraintes éthiques, capacité), pas seulement les meilleures pratiques académiques en abstrait.
- Score 4 : Au moins trois des quatre éléments. Méthodologie justifiée et liée aux questions ; alternatives ou considérations contextuelles partielles.
- Score 3 : Méthodologie nommée et liée largement aux questions mais justification faible. Alternatives non considérées. Adéquation contextuelle supposée plutôt qu'examinée.
- Score 2 : Méthodologie nommée sans justification. Aucune correspondance méthode-question.
- Score 1 : Aucune méthodologie décrite ou méthodologie déconnectée des questions de recherche.
DIMENSION 2 : Adéquation de l'Échantillonnage et des Sources de Données
- Score 5 : Les quatre éléments sont présents. La taille de l'échantillon ou la couverture des sources de données est justifiée (calcul de puissance pour quantitatif, logique de saturation pour qualitatif, logique de couverture comprehensive pour la revue documentaire). La méthode d'échantillonnage est appropriée au type de question. Les critères d'inclusion et d'exclusion sont clairs et opérationnels. Le cadre d'échantillonnage est documenté.
- Score 4 : Au moins trois éléments. Taille justifiée et méthode appropriée ; critères ou cadre partiels.
- Score 3 : Échantillonnage décrit mais justification faible. Critères implicites. Cadre partiellement documenté.
- Score 2 : Échantillonnage décrit avec justification minimale. Adéquation de la couverture peu claire.
- Score 1 : Aucune justification d'échantillonnage ou de cadre.
DIMENSION 3 : Triangulation et Stratégie Multi-Méthodes
- Score 5 : Les quatre éléments sont présents. Plusieurs sources de données ou méthodes sont utilisées pour les questions clés (pas seulement pour l'étude globale). La stratégie de triangulation est explicite (quel résultat sera vérifié contre quelle source, quand, comment). Différentes méthodes abordent différents aspects de la question. Les sources ou méthodes se complètent plutôt que de dupliquer la couverture.
- Score 4 : Au moins trois éléments. Plusieurs méthodes utilisées ; stratégie de triangulation partielle ou certaines méthodes se chevauchent.
- Score 3 : Plusieurs méthodes présentes mais logique de triangulation vague ("nous triangulerons"). Méthodes se chevauchent sur la couverture.
- Score 2 : Méthode unique ou deux méthodes utilisées de manière redondante. Aucune stratégie de triangulation.
- Score 1 : Méthode unique sans reconnaissance de ses limites.
DIMENSION 4 : Garanties de Qualité des Données
- Score 5 : Les quatre éléments sont présents. Procédures d'assurance qualité documentées (supervision, vérifications ponctuelles, retraduction si pertinent, pistes d'audit). Vérifications de cohérence spécifiées le cas échéant (fiabilité inter-évaluateurs pour le codage, double saisie pour les enquêtes). Pré-test ou pilote planifié et décrit pour toute collecte de données primaires. Protocoles de nettoyage des données spécifiés.
- Score 4 : Au moins trois éléments. Procédures d'AQ et pré-test documentés ; vérifications de cohérence ou nettoyage partiels.
- Score 3 : Certaines procédures d'AQ nommées mais non opérationnalisées. Pré-test mentionné mais non décrit. Protocoles de nettoyage absents.
- Score 2 : Mention générique de "qualité" sans procédures spécifiques. Aucun plan de pré-test.
- Score 1 : Aucune garantie de qualité des données décrite.
DIMENSION 5 : Transparence, Limites et Atténuation des Biais
- Score 5 : Les quatre éléments sont présents. Limites explicitement déclarées et spécifiques (pas génériques). Biais nommés avec des stratégies d'atténuation concrètes. Hypothèses documentées. La réplication est faisable : un autre chercheur pourrait reproduire les résultats clés à partir de ce qui est documenté.
- Score 4 : Au moins trois éléments. Limites et biais nommés ; atténuation ou réplicabilité partielles.
- Score 3 : Limites génériques déclarées. Biais mentionnés sans atténuation. Hypothèses implicites.
- Score 2 : Limites sont du texte formulaire standard. Aucune reconnaissance des biais.
- Score 1 : Aucune limite, biais ou hypothèse documentés.
FORMAT DE SORTIE : Retournez votre évaluation sous forme de tableau suivi d'un résumé :
| Dimension | Score (1-5) | Preuves du document | Révision prioritaire |
|---|---|---|---|
| Justification méthodologique et adéquation méthode-question | |||
| Adéquation de l'échantillonnage et des sources de données | |||
| Triangulation et stratégie multi-méthodes | |||
| Garanties de qualité des données | |||
| Transparence, limites et atténuation des biais |
Total : X/25 Niveau : Solide (22-25) / Adéquat (17-21) / Nécessite une révision (11-16) / Révision substantielle (5-10) Révision la plus importante : [Une phrase spécifique]
Pour toute dimension notée 1 ou 2, ajoutez une brève explication et un exemple de révision concret.
DOCUMENT À ÉVALUER : [Collez votre section méthodologique ou document complet ici]
Corriger : Révisez ce qui a obtenu une note faible
Le prompt de révision
Collez le brouillon et ses notes à la fin de ce prompt. Il révise les parties notées en dessous de 4.
Vous êtes un méthodologiste expert en S&E. Examinez la section méthodologique que je vais fournir et corrigez chaque problème qui se situe en dessous du seuil Bon (4) de la rubrique d'évaluation Rigueur méthodologique.
CE QU'IL FAUT RECHERCHER ET CORRIGER :
Problèmes de Justification : Méthodologie nommée sans justification. Aucune correspondance méthode-question. Alternatives non considérées. Adéquation contextuelle supposée.
Problèmes d'Échantillonnage : Taille d'échantillon non justifiée. Méthode d'échantillonnage inadaptée au type de question. Critères d'inclusion implicites. Cadre d'échantillonnage non documenté.
Problèmes de Triangulation : Méthode unique sans reconnaissance. Langage générique de triangulation. Méthodes se chevauchent au lieu de se compléter.
Problèmes de Garanties de Qualité : Aucune procédure d'AQ. Aucune vérification de cohérence. Aucun plan de pré-test. Aucun protocole de nettoyage des données.
Problèmes de Transparence : Limites génériques. Biais non nommés ou non atténués. Hypothèses implicites. Réplication non faisable.
FORMAT DE SORTIE : Pour chaque problème : Dimension, Emplacement, Problème (une phrase), Version révisée. Puis fournissez la section méthodologique révisée complète.
PROJET À RÉVISER : [Collez votre section méthodologique ici]