Critères de Notation
La conception est énoncée avec la justification de son choix. La section d'échantillonnage documente la taille de l'échantillon, la méthode de sélection et la représentativité. Les approches d'analyse quantitative et qualitative sont décrites avec des détails reproductibles. Les limites sont reconnues avec une discussion des implications pour l'interprétation.
La conception est décrite avec justification (peut être brève). L'échantillonnage est documenté mais la représentativité est supposée. L'analyse est décrite. Les limites sont énumérées mais leur impact n'est pas discuté.
La conception est nommée mais non décrite avec des détails utilisables. La taille de l'échantillon est indiquée mais la méthode de sélection n'est pas expliquée. L'approche d'analyse est mentionnée mais non reproductible à partir de la seule description. Au moins une limite est reconnue mais sans implications.
La section méthodologique est brève ou générique. La taille et la sélection de l'échantillon ne sont pas justifiées. L'analyse est décrite en une seule phrase ou moins. La section des limites est absente, OU les limites sont énumérées sans discussion de leur effet sur les constatations.
Aucune section méthodologique.
Toutes les constatations majeures sont étayées par au moins deux sources indépendantes. Les preuves quantitatives et qualitatives sont intégrées dans chaque constatation (et non dans des silos séparés). Les preuves contradictoires sont notées et expliquées. Chaque constatation est traçable à des données spécifiques.
Au moins 80 pour cent des constatations ont une triangulation. Le reste repose sur une source unique avec la limitation reconnue. Les deux types de preuves sont présents avec une certaine intégration.
La moitié ou plus des constatations ont une triangulation. La dépendance à une source unique est courante. Les données quantitatives et qualitatives sont toutes deux présentes mais largement rapportées en parallèle plutôt qu'intégrées.
Moins de la moitié des constatations ont une triangulation, OU les preuves quantitatives et qualitatives sont présentées dans des sections entièrement séparées sans intégration.
Aucune triangulation. Les constatations semblent refléter l'opinion de l'évaluateur sans preuves documentées.
Les constatations sont organisées par question d'évaluation. Chaque constatation inclut l'ampleur et la direction du changement. Désagrégées par sexe, âge, lieu ou autres variables pertinentes lorsque les données le permettent. Les constatations négatives et inattendues reçoivent un espace égal à celui des constatations positives.
Constatations clairement organisées (peuvent suivre les composantes du programme plutôt que les questions d'évaluation). Au moins 80 pour cent des constatations incluent la direction du changement. Une certaine désagrégation est présente. Les constatations négatives sont rapportées mais peuvent recevoir moins d'espace.
Les constatations sont organisées mais pas systématiquement alignées sur les questions d'évaluation. La moitié ou plus incluent l'ampleur. La désagrégation est tentée pour au moins une variable. Les constatations négatives sont mentionnées mais reçoivent clairement moins d'emphase que les positives.
Les constatations sont organisées par source de données ou sous forme de récit chronologique. L'ampleur n'est pas claire pour la moitié ou plus des constatations. La désagrégation est absente ou limitée. Les constatations négatives sont minimisées.
Récit qualitatif sans structure. Aucune désagrégation. Se lit comme une histoire de succès.
Chaque conclusion cite la ou les constatations sur lesquelles elle s'appuie et ne va pas au-delà de ce que les preuves soutiennent. Chaque recommandation spécifie l'action, la partie responsable et le délai. Les recommandations abordent les causes profondes. Le nombre total de recommandations est entre 5 et 12. Les recommandations prioritaires sont distinguées.
Chaque conclusion est liée aux constatations, bien que certains liens puissent être implicites. Au moins 80 pour cent des recommandations sont spécifiques. Les parties responsables sont identifiées pour au moins 80 pour cent.
Les conclusions sont cohérentes avec les constatations mais les liens ne sont pas explicitement énoncés. La moitié ou plus des recommandations sont spécifiques ; le reste reste général. La moitié ou plus ont des parties responsables nommées. Le nombre total de recommandations est entre 3 et 15.
Une ou plusieurs conclusions vont au-delà des preuves ou contredisent les constatations, OU la moitié ou plus des recommandations sont génériques, OU les parties responsables ne sont pas spécifiées pour la moitié ou plus, OU le nombre total de recommandations est en dehors d'une fourchette raisonnable (moins de 3 ou plus de 15).
Les conclusions contredisent ou ignorent les constatations. Les recommandations ne sont pas exploitables. Aucun lien entre les constatations, les conclusions et les recommandations.
Les membres de la communauté ont participé à la validation des constatations au-delà de la collecte de données. Le rapport aborde explicitement les dynamiques de pouvoir. Les données sont anonymisées pour chaque point de données potentiellement identifiable. Les conclusions clés sont communiquées aux communautés affectées avec documentation.
La participation communautaire au-delà de la collecte de données est prouvée. L'anonymisation est appliquée. Les constatations sont partagées avec les partenaires de mise en œuvre.
Certaines preuves d'engagement des participants au-delà de la collecte de données. L'anonymisation est appliquée pour au moins 80 pour cent des points de données potentiellement identifiables mais de manière incohérente. Documentation limitée du processus inclusif.
Les protections éthiques sont mentionnées mais appliquées de manière incohérente. La moitié ou plus des points de données identifiables ne sont pas anonymisés (citations directes attribuables à des individus nommés ou lieux suffisamment spécifiques pour identifier les répondants). Aucune validation des constatations avec les fournisseurs de données.
Aucune protection éthique documentée. Les données individuelles sont potentiellement identifiables tout au long du rapport. Aucune preuve de processus inclusif ou de boucle de rétroaction communautaire.
Interprétation du Score
| Total (sur 25) | Niveau | Prochaine Étape |
|---|---|---|
| 22-25 | Fort | Approuver avec des demandes éditoriales mineures uniquement |
| 17-21 | Adéquat | Demander des révisions ciblées sur les 1-2 dimensions les plus faibles. Fixer une date limite pour le projet révisé. |
| 11-16 | Nécessite Révision | Retourner à l'équipe d'évaluation avec la fiche de notation de l'IA comme bref de révision. Ne pas approuver avant une nouvelle révision. |
| 5-10 | Révision Substantielle | Ne répond pas aux normes de qualité minimales. Discuter si une révision substantielle est faisable ou si une collecte de données supplémentaire est nécessaire. |