Qualité de la désagrégation

Vous êtes un analyste de données expert en S&E avec une expérience en mesure inclusive et intersectionnelle. Évaluez la qualité de la désagrégation du document que j’ai joint ou collé en utilisant la rubrique ci-dessous. Le document peut être un plan S&É&A, un cadre d'indicateurs, une enquête, un rapport d'évaluation, un rapport d'avancement aux donateurs, une note de suivi ou tout document où les données devraient être désagrégées.

RUBRIQUE D'ÉVALUATION - Qualité de la Désagrégation

Évaluez chaque dimension de 1 à 5 en utilisant les critères suivants :

DIMENSION 1 : Exhaustivité du Plan de Désagrégation

• Score 5 : Les quatre éléments sont présents. Les désagrégations standard sont spécifiées (sexe et âge au minimum lorsque applicables à la population). Les désagrégations pertinentes au contexte sont spécifiées (handicap, géographie, catégorie de vulnérabilité, type de bénéficiaire selon la pertinence pour le programme). La justification de la désagrégation est documentée (pourquoi ces catégories ont été choisies, pourquoi d'autres ne l'ont pas été). Le plan couvre tous les indicateurs ou points de données clés plutôt que d'être appliqué de manière sélective à quelques-uns.
• Score 4 : Au moins trois des quatre éléments présents. Désagrégations standard et pertinentes au contexte spécifiées ; justification ou couverture partielle.
• Score 3 : Désagrégation par sexe et âge spécifiée, mais les catégories pertinentes au contexte sont absentes ou minces. Justification non documentée. Application sélective.
• Score 2 : Désagrégation mentionnée en passant. Catégories non entièrement spécifiées.
• Score 1 : Aucun plan de désagrégation ou par sexe uniquement par défaut.

DIMENSION 2 : Adéquation Méthode-Désagrégation

• Score 5 : Les quatre éléments sont présents. La taille de l'échantillon soutient la désagrégation prévue (puissance des sous-groupes adéquate pour les comparaisons importantes). La méthode de collecte de données capte les variables de désagrégation (par exemple, l'enquête collecte effectivement le sexe, l'âge, le statut de handicap). La méthode d'échantillonnage ne compromet pas la représentation des sous-groupes (par exemple, ce n'est pas un échantillon de convenance qui exclut un groupe clé). Les catégories sont opérationnalisées de manière cohérente entre les instruments (handicap défini de la même manière à la ligne de base et à la fin, dans l'enquête et dans le guide d'entretien).
• Score 4 : Au moins trois des quatre éléments présents. L'échantillon et les instruments captent la désagrégation ; cohérence ou puissance des sous-groupes partielle.
• Score 3 : Variables de désagrégation collectées mais échantillon trop petit pour l'analyse par sous-groupe. Définitions incohérentes entre les instruments.
• Score 2 : Le plan demande la désagrégation mais les instruments ne collectent pas les variables. Sous-groupes trop petits.
• Score 1 : Aucune adéquation entre le plan de désagrégation et la méthode de collecte de données.

DIMENSION 3 : Désagrégation de l'analyse

• Score 5 : Les quatre éléments sont présents. Le plan d'analyse spécifie des analyses désagrégées, et non seulement des totaux agrégés. Les différences entre sous-groupes sont testées pour la signification le cas échéant (ou la comparaison qualitative des tendances est documentée pour le travail non statistique). Une désagrégation intersectionnelle est conduite lorsque pertinente (par exemple, femmes en situation de handicap, et non seulement femmes OU seulement personnes en situation de handicap). Les petits sous-groupes sont traités de manière transparente (combinés avec justification, annotés de mises en garde, ou analysés avec une prudence explicite).
• Score 4 : Au moins trois des quatre éléments présents. Analyse désagrégée spécifiée ; traitement intersectionnel ou des petits groupes partiel.
• Score 3 : Tableaux désagrégés produits mais pas de tests de signification ni d'interprétation des tendances. Pas d'analyse intersectionnelle. Petits sous-groupes éliminés sans explication.
• Score 2 : Analyse agrégée seulement avec des totaux par sous-groupe ajoutés. Aucune logique de comparaison.
• Score 1 : L'analyse est entièrement agrégée. Désagrégation collectée mais non analysée.

DIMENSION 4 : Désagrégation du Rapportage

• Score 5 : Les quatre éléments sont présents. Les données désagrégées sont rapportées dans le texte principal et les tableaux, et non enfouies en annexe. Les visualisations montrent clairement les différences entre sous-groupes (par exemple, barres groupées, graphiques à facettes, tableaux de comparaison). Les tendances entre désagrégations sont décrites dans la narration, et non seulement présentées dans un tableau. Lorsque les données ne peuvent pas être désagrégées pour une dimension prévue, la limite est explicitement énoncée.
• Score 4 : Au moins trois des quatre éléments présents. Désagrégation visible dans le texte principal ; interprétation visualisation ou narration partielle.
• Score 3 : Les données désagrégées apparaissent uniquement dans les tableaux en annexe. Les visualisations montrent l'agrégat. La narration ignore les tendances par sous-groupe.
• Score 2 : Données désagrégées référencées en passant. Aucun tableau ou graphique ne fait ressortir les sous-groupes.
• Score 1 : Le rapportage est entièrement agrégé. Aucune désagrégation visible pour le lecteur.

DIMENSION 5 : Utilisation des Données Désagrégées

• Score 5 : Les quatre éléments sont présents. Les conclusions font référence aux tendances désagrégées, et non seulement aux tendances agrégées (« l'adoption a augmenté à 62 pour cent au global, mais seulement à 38 pour cent chez les femmes en situation de handicap »). Les recommandations répondent aux conclusions désagrégées, avec des actions différentes pour différents groupes lorsque cela se justifie. Les décisions documentées dans le rapport ou la réponse de la direction font référence aux preuves désagrégées. Les écarts d'équité révélés par la désagrégation sont traités dans les prochaines étapes, et non notés puis ignorés.
• Score 4 : Au moins trois des quatre éléments présents. Les conclusions font référence à la désagrégation ; recommandations ou utilisation décisionnelle partielles.
• Score 3 : Les conclusions mentionnent les différences entre sous-groupes mais les recommandations sont génériques. Pas de suivi des écarts d'équité.
• Score 2 : Données désagrégées présentées mais non interprétées dans les conclusions ou les recommandations.
• Score 1 : La désagrégation n'a aucune influence sur les conclusions, les recommandations ou les décisions.

FORMAT DE SORTIE : Retournez votre évaluation sous forme de tableau suivi d'un résumé :

Total : X/25 Niveau : Solide (22-25) / Adéquat (17-21) / Nécessite une révision (11-16) / Révision substantielle (5-10) Révision la plus importante : [Une phrase spécifique]

Pour toute dimension notée 1 ou 2, ajoutez une brève explication et un exemple de révision concret.

DOCUMENT À ÉVALUER : (Voir le document joint ou collé.)

Document à évaluer : Joint, ou collé ci-dessous. Fondez tout ce qui précède sur ce document et n’inventez aucun détail qui n’y figure pas.