Qualité du plan d'analyse

Vous êtes un analyste expert en S&E avec une expérience à la fois en analyse quantitative et qualitative. Évaluez la section du plan d'analyse du document que j’ai joint ou collé en utilisant la rubrique ci-dessous. Le document peut être un plan MEL, un rapport de démarrage, un rapport d'évaluation, une analyse de contribution, une évaluation des besoins, ou tout document contenant une section de plan d'analyse.

RUBRIQUE D'ÉVALUATION - Qualité du plan d'analyse

Évaluez chaque dimension de 1 à 5 en utilisant les critères suivants :

DIMENSION 1 : Correspondance Plan d'Analyse-Questions

• Score 5 : Les quatre éléments sont présents. Chaque question de recherche ou d'évaluation a une approche analytique définie (pas de questions orphelines). L'approche est appropriée au type de question (descriptif, inférentiel, exploratoire, explicatif, normatif). L'ordre des étapes analytiques est logique et la séquence est claire. Un tableau de correspondance ou équivalent rend visible le lien question-méthode pour le lecteur.
• Score 4 : Au moins trois des quatre éléments. La correspondance question-méthode couvre la plupart des questions ; l'ordre ou le tableau visible partiels.
• Score 3 : La correspondance est implicite. Certaines questions ont des approches ; d'autres restent indéfinies. Ordre d'analyse vaguement décrit.
• Score 2 : Méthodes énumérées sans correspondance claire aux questions. Ordre absent.
• Score 1 : Aucune correspondance entre questions et analyse. Questions et méthodes dans des sections déconnectées.

DIMENSION 2 : Spécification des Méthodes Analytiques

• Score 5 : Les quatre éléments sont présents. Des méthodes spécifiques sont nommées (par exemple, "régression logistique avec les quatre covariables listées et erreurs standard regroupées au niveau de l'établissement," et non "analyse de régression"). Pour le travail qualitatif, l'approche spécifique est nommée (thématique, cadre, théorie ancrée, analyse de contenu) avec une stratégie de codage décrite. Les logiciels ou outils sont nommés le cas échéant (Stata, R, NVivo, Dedoose, Excel). Le choix de la méthode est justifié (pourquoi cette méthode et pas une autre).
• Score 4 : Au moins trois éléments. Méthodes spécifiques et outils nommés ; justification ou stratégie de codage partielles.
• Score 3 : Méthodes nommées seulement au niveau de la catégorie. Outils mentionnés. Stratégie de codage et justification faibles.
• Score 2 : Étiquettes de méthode génériques ("nous analyserons qualitativement"). Aucun outil. Aucune justification.
• Score 1 : Aucune méthode nommée ou méthodes incompatibles avec les données décrites.

DIMENSION 3 : Plan de Préparation et d'Intégration des Données

• Score 5 : Les quatre éléments sont présents. La gestion des données manquantes est spécifiée (règles, seuils, approche d'imputation le cas échéant, ou logique d'exclusion documentée). La gestion des valeurs aberrantes ou anomalies est définie avec des règles d'inclusion ou d'exclusion. La logique d'intégration des données est claire lors de la combinaison de sources (comment les données d'enquête et administratives fusionnent, comment les résultats qualitatifs et quantitatifs se connectent). Les transformations de données sont documentées (recodage, mise à l'échelle, variables dérivées).
• Score 4 : Au moins trois éléments. Données manquantes et aberrantes gérées ; intégration ou transformations partielles.
• Score 3 : Déclaration générique de "nous gérerons les données manquantes." Aberrantes mentionnées. Intégration vague. Transformations non documentées.
• Score 2 : Aucune règle pour les données manquantes. Aucune règle pour les aberrantes. Intégration supposée.
• Score 1 : Aucun plan de préparation des données.

DIMENSION 4 : Logique de Triangulation et de Synthèse

• Score 5 : Les quatre éléments sont présents. La manière dont les résultats de différentes méthodes ou sources seront synthétisés est explicite (pas seulement "nous triangulerons"). Une stratégie est fournie pour gérer les résultats contradictoires entre sources. La pondération ou hiérarchie des preuves est spécifiée le cas échéant. La logique causale ou explicative est transparente, surtout pour les questions évaluatives.
• Score 4 : Au moins trois éléments. Logique de synthèse et gestion des contradictions décrites ; pondération ou logique causale partielles.
• Score 3 : Langage générique de triangulation. Aucun plan pour les contradictions. Aucune pondération. Logique causale implicite.
• Score 2 : Sources listées sans logique de synthèse. Contradictions ignorées.
• Score 1 : Aucun plan de triangulation ou de synthèse.

DIMENSION 5 : Vérifications de Qualité et Validation

• Score 5 : Les quatre éléments sont présents. La revue par les pairs ou les vérifications de qualité par les analystes sont spécifiées (deuxième codeur, revue par les pairs des conclusions, objectifs de fiabilité inter-évaluateurs). Des tests de sensibilité sont planifiés pour les résultats clés (ré-exécution avec hypothèses différentes, échantillons alternatifs, spécifications de modèle alternatives). Une piste d'audit des décisions analytiques est documentée (décisions et justifications enregistrées au fur et à mesure). Les limites de l'analyse sont déclarées avec transparence, y compris ce que l'analyse ne peut pas répondre.
• Score 4 : Au moins trois éléments. Vérifications de qualité et limites déclarées ; tests de sensibilité ou piste d'audit partiels.
• Score 3 : Mention générique d'assurance qualité. Limites formulaires. Aucun test de sensibilité.
• Score 2 : Aucune revue par les pairs. Aucun test de sensibilité. Limites absentes.
• Score 1 : Aucune vérification de qualité ou validation.

FORMAT DE SORTIE : Retournez votre évaluation sous forme de tableau suivi d'un résumé :

Total : X/25 Niveau : Solide (22-25) / Adéquat (17-21) / Nécessite une révision (11-16) / Révision substantielle (5-10) Révision la plus importante : [Une phrase spécifique]

Pour toute dimension notée 1 ou 2, ajoutez une brève explication et un exemple de révision concret.

DOCUMENT À ÉVALUER : (Voir le document joint ou collé.)

Document à évaluer : Joint, ou collé ci-dessous. Fondez tout ce qui précède sur ce document et n’inventez aucun détail qui n’y figure pas.