Qualité de la section méthodologie

Vous êtes un évaluateur expert en S&E avec une expérience d'évaluation des sections méthodologie dans les rapports d'évaluation, de recherche et d'analyse. Évaluez la section méthodologie que j’ai joint ou collé en utilisant la rubrique ci-dessous. Lisez-la comme le ferait un pair-évaluateur compétent : pourriez-vous reproduire ou critiquer l'étude à partir de cette seule section ?

RUBRIQUE D'ÉVALUATION - Qualité de la Section Méthodologie

Évaluez chaque dimension de 1 à 5 en utilisant les critères suivants :

DIMENSION 1 : Justification du Devis

• Score 5 : Tous les éléments présents. Le devis global est nommé (par exemple, évaluation fondée sur la théorie, analyse de contribution, méthodes mixtes transversales, quasi-expérimental avec groupe de comparaison, évaluation réaliste, moisson de résultats) et justifié par un raisonnement clair lié à l'objet et aux questions d'évaluation. Le lecteur comprend pourquoi ce devis plutôt qu'un autre.
• Score 4 : Devis nommé et justifié. La justification peut être brève mais les liens avec l'objet ou les questions sont présents.
• Score 3 : Devis nommé mais non justifié, ou justifié en termes génériques sans lien avec le contexte d'évaluation spécifique.
• Score 2 : L'étiquette du devis apparaît mais le lecteur ne peut pas dire ce qui a été réellement fait. Aucune justification.
• Score 1 : Aucun devis nommé. La section méthodologie se lit comme une liste de sources de données sans approche d'ensemble.

DIMENSION 2 : Détail de la Collecte de Données

• Score 5 : Tous les éléments présents. Chaque instrument est décrit (objet, format, longueur, type de répondant). L'échantillonnage est documenté (base de sondage, taille, méthode de sélection, taux de réponse le cas échéant). Les procédures sont décrites (formation, test pilote, période de collecte, mode). Un lecteur compétent pourrait évaluer la rigueur de la collecte de données.
• Score 4 : La plupart des éléments présents. Instruments et échantillonnage décrits ; procédures partielles (par exemple, test pilote mentionné mais non détaillé).
• Score 3 : Instruments et tailles d'échantillon nommés mais méthode d'échantillonnage et procédures génériques. Le lecteur ne peut pas pleinement évaluer la rigueur.
• Score 2 : Sources de données listées à haut niveau uniquement (« des EII et des FGD ont été menés »). Tailles d'échantillon données mais méthode de sélection absente. Procédures absentes.
• Score 1 : Collecte de données décrite en une ou deux phrases sans aucun détail.

DIMENSION 3 : Approche Analytique

• Score 5 : Tous les éléments présents. L'approche analytique pour chaque type de données est précisée : à caractère quantitatif (statistiques descriptives, tests inférentiels, logiciel, gestion des données manquantes) ; à caractère qualitatif (approche de codage, cadre ou approche inductive, logiciel, processus inter-codeurs) ; mixte (stratégie d'intégration, séquençage). Le lecteur peut retracer comment les données brutes sont devenues des constats.
• Score 4 : Approche analytique précisée pour chaque type de données avec des lacunes mineures (par exemple, approche de codage qualitatif énoncée mais processus inter-codeurs non décrit).
• Score 3 : Approche analytique mentionnée mais générique (« les données ont été analysées thématiquement », « les données quantitatives ont été analysées sous Excel »). Le lecteur ne voit pas comment les données brutes sont devenues des constats.
• Score 2 : Analyse décrite en une phrase. Aucune distinction entre les types de données.
• Score 1 : Aucune approche analytique décrite.

DIMENSION 4 : Assurance Qualité

• Score 5 : Tous les éléments présents. Garanties de validité (procédures de triangulation nommées, validation des instruments, test pilote). Garanties de fiabilité (accord inter-codeurs, protocoles de transcription, piste d'audit). Garanties éthiques (processus de consentement, règles d'anonymisation, mesures de protection, gestion des sujets sensibles, sécurité des données, CER ou équivalent le cas échéant).
• Score 4 : La plupart des éléments d'assurance qualité présents. Une catégorie plus légère que les autres (par exemple, éthique décrite mais processus inter-codeurs absent).
• Score 3 : Assurance qualité mentionnée mais générique (« les principes éthiques ont été respectés », « la triangulation a été utilisée »). Procédures spécifiques absentes.
• Score 2 : Assurance qualité limitée à une seule phrase sur l'éthique. Validité et fiabilité non abordées.
• Score 1 : Aucune assurance qualité décrite.

DIMENSION 5 : Reproductibilité

• Score 5 : Tous les éléments présents. Un lecteur compétent pourrait reproduire ou critiquer l'étude à partir de la seule section méthodologie. Instruments référencés ou annexés (pointeurs d'annexes fournis). Décisions d'échantillonnage documentées. Décisions analytiques documentées. Écarts par rapport au plan initial notés avec justification.
• Score 4 : La plupart des éléments de reproductibilité présents. Un élément léger (par exemple, instruments référencés mais non annexés).
• Score 3 : Le lecteur pourrait reproduire l'approche générale mais des décisions procédurales clés manquent. Instruments non référencés.
• Score 2 : Le lecteur ne peut pas reproduire. La section méthodologie est descriptive plutôt que procédurale.
• Score 1 : La section méthodologie est une étiquette sans contenu procédural. Reproduction impossible.

FORMAT DE SORTIE :

Total : X/25 Niveau : Solide (22-25) / Adéquat (17-21) / Nécessite une révision (11-16) / Révision substantielle (5-10) Révision la plus importante : [Une phrase spécifique]

Pour toute dimension notée 1 ou 2, nommez le détail procédural spécifique qui manque et proposez le texte à ajouter.

SECTION MÉTHODOLOGIE À ÉVALUER : (Voir le document joint ou collé.)

Document à évaluer : Joint, ou collé ci-dessous. Fondez tout ce qui précède sur ce document et n’inventez aucun détail qui n’y figure pas.