Rigueur méthodologique

Vous êtes un méthodologiste expert en S&E avec une expérience à la fois en méthodes quantitatives et qualitatives. Évaluez la section méthodologique du document que j’ai joint ou collé en utilisant la rubrique ci-dessous. Le document peut être un plan MEL, des TdR d'évaluation, un rapport de démarrage, un rapport d'évaluation, une analyse de contribution, une évaluation des besoins, un plan d'échantillonnage, ou tout document où les choix méthodologiques requièrent une justification et des garanties de qualité.

RUBRIQUE D'ÉVALUATION - Rigueur méthodologique

Évaluez chaque dimension de 1 à 5 en utilisant les critères suivants :

DIMENSION 1 : Justification Méthodologique et Adéquation Méthode-Question

• Score 5 : Les quatre éléments sont présents. La méthodologie est explicitement justifiée par rapport aux questions de recherche ou d'évaluation (pas seulement nommée). Chaque méthode principale correspond à des questions spécifiques qu'elle est conçue pour répondre. Des alternatives ont été considérées et rejetées avec un raisonnement documenté. Le choix est approprié au contexte (environnement opérationnel, disponibilité des données, contraintes éthiques, capacité), pas seulement les meilleures pratiques académiques en abstrait.
• Score 4 : Au moins trois des quatre éléments. Méthodologie justifiée et liée aux questions ; alternatives ou considérations contextuelles partielles.
• Score 3 : Méthodologie nommée et liée largement aux questions mais justification faible. Alternatives non considérées. Adéquation contextuelle supposée plutôt qu'examinée.
• Score 2 : Méthodologie nommée sans justification. Aucune correspondance méthode-question.
• Score 1 : Aucune méthodologie décrite ou méthodologie déconnectée des questions de recherche.

DIMENSION 2 : Adéquation de l'Échantillonnage et des Sources de Données

• Score 5 : Les quatre éléments sont présents. La taille de l'échantillon ou la couverture des sources de données est justifiée (calcul de puissance pour quantitatif, logique de saturation pour qualitatif, logique de couverture comprehensive pour la revue documentaire). La méthode d'échantillonnage est appropriée au type de question. Les critères d'inclusion et d'exclusion sont clairs et opérationnels. Le cadre d'échantillonnage est documenté.
• Score 4 : Au moins trois éléments. Taille justifiée et méthode appropriée ; critères ou cadre partiels.
• Score 3 : Échantillonnage décrit mais justification faible. Critères implicites. Cadre partiellement documenté.
• Score 2 : Échantillonnage décrit avec justification minimale. Adéquation de la couverture peu claire.
• Score 1 : Aucune justification d'échantillonnage ou de cadre.

DIMENSION 3 : Triangulation et Stratégie Multi-Méthodes

• Score 5 : Les quatre éléments sont présents. Plusieurs sources de données ou méthodes sont utilisées pour les questions clés (pas seulement pour l'étude globale). La stratégie de triangulation est explicite (quel résultat sera vérifié contre quelle source, quand, comment). Différentes méthodes abordent différents aspects de la question. Les sources ou méthodes se complètent plutôt que de dupliquer la couverture.
• Score 4 : Au moins trois éléments. Plusieurs méthodes utilisées ; stratégie de triangulation partielle ou certaines méthodes se chevauchent.
• Score 3 : Plusieurs méthodes présentes mais logique de triangulation vague ("nous triangulerons"). Méthodes se chevauchent sur la couverture.
• Score 2 : Méthode unique ou deux méthodes utilisées de manière redondante. Aucune stratégie de triangulation.
• Score 1 : Méthode unique sans reconnaissance de ses limites.

DIMENSION 4 : Garanties de Qualité des Données

• Score 5 : Les quatre éléments sont présents. Procédures d'assurance qualité documentées (supervision, vérifications ponctuelles, retraduction si pertinent, pistes d'audit). Vérifications de cohérence spécifiées le cas échéant (fiabilité inter-évaluateurs pour le codage, double saisie pour les enquêtes). Pré-test ou pilote planifié et décrit pour toute collecte de données primaires. Protocoles de nettoyage des données spécifiés.
• Score 4 : Au moins trois éléments. Procédures d'AQ et pré-test documentés ; vérifications de cohérence ou nettoyage partiels.
• Score 3 : Certaines procédures d'AQ nommées mais non opérationnalisées. Pré-test mentionné mais non décrit. Protocoles de nettoyage absents.
• Score 2 : Mention générique de "qualité" sans procédures spécifiques. Aucun plan de pré-test.
• Score 1 : Aucune garantie de qualité des données décrite.

DIMENSION 5 : Transparence, Limites et Atténuation des Biais

• Score 5 : Les quatre éléments sont présents. Limites explicitement déclarées et spécifiques (pas génériques). Biais nommés avec des stratégies d'atténuation concrètes. Hypothèses documentées. La réplication est faisable : un autre chercheur pourrait reproduire les résultats clés à partir de ce qui est documenté.
• Score 4 : Au moins trois éléments. Limites et biais nommés ; atténuation ou réplicabilité partielles.
• Score 3 : Limites génériques déclarées. Biais mentionnés sans atténuation. Hypothèses implicites.
• Score 2 : Limites sont du texte formulaire standard. Aucune reconnaissance des biais.
• Score 1 : Aucune limite, biais ou hypothèse documentés.

FORMAT DE SORTIE : Retournez votre évaluation sous forme de tableau suivi d'un résumé :

Total : X/25 Niveau : Solide (22-25) / Adéquat (17-21) / Nécessite une révision (11-16) / Révision substantielle (5-10) Révision la plus importante : [Une phrase spécifique]

Pour toute dimension notée 1 ou 2, ajoutez une brève explication et un exemple de révision concret.

DOCUMENT À ÉVALUER : (Voir le document joint ou collé.)

Document à évaluer : Joint, ou collé ci-dessous. Fondez tout ce qui précède sur ce document et n’inventez aucun détail qui n’y figure pas.