L'Évaluation Axée sur l'Utilisation (ECU)

Quand Adopter l'Évaluation Axée sur l'Utilisation (ECU)

L'Évaluation Axée sur l'Utilisation (ECU) est l'approche idéale lorsque l'objectif principal est de garantir que les résultats de l'évaluation soient réellement utilisés, et non pas seulement produits. Développée par Michael Quinn Patton, l'ECU repose sur un principe simple mais fondamental : la valeur d'une évaluation ne se mesure pas uniquement à sa qualité méthodologique, mais surtout à sa capacité à éclairer des décisions concrètes. Une évaluation dont personne ne se sert est un échec, quelle que soit sa rigueur technique.

Adoptez l'ECU lorsque :

• Les évaluations précédentes sont restées lettre morte : des rapports d'évaluation qui prennent la poussière signalent que le processus de conception n'a pas tenu compte des utilisateurs prévus.
• Les décideurs doivent prendre des décisions spécifiques et urgentes : l'évaluation peut alors être conçue pour fournir précisément l'information requise, au moment opportun.
• Plusieurs parties prenantes ont des besoins d'information divergents : l'ECU offre un cadre pour négocier et prioriser ces besoins concurrents.
• Les politiques des bailleurs ou des organisations l'exigent : CRS, CARE et plusieurs donateurs bilatéraux ont institutionnalisé l'ECU comme leur approche d'évaluation standard.
• Renforcement des capacités en évaluation : impliquer les utilisateurs dans le processus d'évaluation développe leur aptitude à utiliser les preuves pour la prise de décision future.

L'ECU ne doit pas servir de prétexte pour ne produire que les résultats que les utilisateurs souhaitent voir. L'évaluateur conserve son indépendance professionnelle et présente les résultats en toute honnêteté, même s'ils sont inconfortables. L'ECU adapte les questions et la communication aux besoins des utilisateurs, mais pas les résultats eux-mêmes.

Fonctionnement de l'Évaluation Axée sur l'Utilisation

L'ECU n'est pas une méthode de collecte de données en soi, mais un cadre de processus pour concevoir toute évaluation en fonction des besoins des utilisateurs. L'évaluateur met en œuvre une pensée évaluative et une rigueur professionnelle pour choisir les méthodes les plus appropriées afin de répondre aux questions que les utilisateurs souhaitent voir résolues.

Étape 1 : Identifier le(s) utilisateur(s) principal(aux) visé(s)

C'est l'étape la plus cruciale. L'utilisateur principal visé est une ou plusieurs personnes spécifiques et nommées qui utiliseront les résultats pour prendre une décision concrète. "Le programme" n'est pas un utilisateur. "Le Directeur du Programme, qui présentera les résultats au Conseil d'Administration en mars afin de décider du renouvellement du contrat" est un utilisateur. Patton nomme cela le "facteur personnel" : des utilisateurs abstraits mènent à des évaluations abstraites que personne n'utilise.

Étape 2 : Identifier l'utilisation prévue

Quelles décisions ou actions spécifiques l'utilisateur principal prendra-t-il sur la base de l'évaluation ? L'utilisation prévue détermine tout : les questions, les méthodes, le calendrier et l'approche de communication. Utilisation non encore déterminée = conception d'évaluation non encore possible.

Étape 3 : Impliquer les utilisateurs dans la conception de l'évaluation

Impliquer les utilisateurs principaux identifiés dans l'élaboration des questions d'évaluation, la révision de la conception de l'évaluation et l'interprétation des résultats préliminaires. Il ne s'agit pas d'une consultation publique, mais d'une relation de travail avec les personnes spécifiques qui utiliseront les résultats.

Étape 4 : Adapter les méthodes aux questions, et non à la convention

Avec l'ECU, les questions d'évaluation (issues des besoins des utilisateurs) déterminent les méthodes, et non l'inverse. Si les utilisateurs ont besoin d'une réponse rapide en six semaines, une évaluation d'impact de deux ans est inappropriée, quelle que soit sa supériorité méthodologique. Utilisez toutes les méthodes qui produisent des résultats crédibles et utiles, en respectant le calendrier de décision des utilisateurs.

Étape 5 : Communiquer pour l'utilisation

Le format, le calendrier et la présentation des résultats doivent être adaptés à la manière dont les utilisateurs les consommeront et les partageront. Un rapport technique de 60 pages remis deux semaines après une décision du Conseil d'Administration ne sert à personne. Un bref de deux pages avec des recommandations claires, livré avant la décision, est bien plus utile.

Étape 6 : Suivre l'utilisation

Après la remise des résultats, assurez un suivi pour documenter comment ils ont été utilisés (ou pourquoi ils ne l'ont pas été). Cette reddition de comptes boucle la boucle et permet à l'évaluateur d'améliorer l'utilisation future.

Composantes Clés

• Utilisateurs principaux nommés : des individus spécifiques, et non des organisations ou des audiences générales.
• Utilisation prévue spécifiée : documentée avant le début de la conception de l'évaluation.
• Processus d'engagement des utilisateurs : implication structurée des utilisateurs dans l'élaboration des questions et l'interprétation des résultats.
• L'évaluateur, un facilitateur actif : l'évaluateur gère activement le processus d'utilisation, au-delà de la simple collecte de données.
• Méthodes choisies pour leur utilité : les choix de conception sont justifiés par ce qui produira des résultats utiles, et non par la seule convention méthodologique.
• Plan de communication ciblé : produits adaptés aux besoins et au calendrier de décision de chaque utilisateur identifié.
• Documentation de l'utilisation : enregistrements de la manière dont les résultats ont été réellement utilisés.

Meilleures Pratiques

Nommez l'utilisateur, définissez l'utilisation. La discipline consistant à spécifier le nom et le rôle de l'utilisateur principal visé, ainsi que la décision spécifique qu'il doit prendre, transforme la planification d'évaluation abstraite en utilité concrète. Faites cela avant toute autre chose.

Commencez par l'utilisation, pas par les questions. L'évaluation conventionnelle débute par "que voulons-nous savoir ?". L'ECU, elle, commence par "que devons-nous décider, et quelle information améliorerait cette décision ?". La différence est subtile mais significative.

Protégez l'indépendance de l'évaluateur. L'engagement des utilisateurs ne signifie pas que l'évaluateur doit dire aux utilisateurs ce qu'ils veulent entendre. La responsabilité de l'évaluateur est de fournir des résultats honnêtes et crédibles. L'ECU façonne les questions et la communication, mais pas les résultats.

Alignez le calendrier de l'évaluation sur celui de la décision. Une évaluation livrée après qu'une décision a été prise est inutile. Établissez le calendrier de l'évaluation en fonction du moment où les utilisateurs ont besoin des résultats.

Documentez l'utilisation prévue dans les Termes de Référence. Les Termes de Référence de l'évaluation devraient énoncer explicitement les principaux utilisateurs visés et les décisions spécifiques que l'évaluation éclairera. Cela crée une reddition de comptes pour l'utilisation dès le départ.

Pièges Courants

Identifier des organisations plutôt que des personnes comme utilisateurs. "Le Ministère de la Santé" n'est pas un utilisateur. "Dr. Amara Diallo, Directrice des Soins de Santé Primaires, qui doit décider de recommander une mise à l'échelle nationale" est un utilisateur. La spécificité quant à l'identité de ceux qui utiliseront les résultats est ce qui fait le succès de l'ECU.

Confondre consultation et engagement. Présenter un projet de rapport aux parties prenantes pour recueillir leurs commentaires est une consultation. L'ECU exige une implication substantielle des utilisateurs dans l'élaboration des questions, l'examen de la méthodologie et l'interprétation préliminaire des résultats.

Utiliser l'ECU comme prétexte pour éviter des méthodes rigoureuses. "L'utilisateur n'a pas besoin d'un ECR, il a juste besoin d'une enquête de base" est valide, à condition qu'une enquête de base fournisse réellement des réponses crédibles aux questions de l'utilisateur. L'ECU n'est pas une raison de réaliser une évaluation de moindre qualité ; c'est une raison de choisir le niveau de qualité d'évaluation approprié pour les questions qui importent.

Négliger de boucler la boucle de l'utilisation. Si vous n'assurez pas un suivi après la remise des résultats pour documenter ce qui a été décidé et comment les résultats l'ont influencé, vous n'avez aucune preuve d'utilisation, seulement l'espoir.

Traiter l'ECU comme une méthodologie. L'ECU est un cadre de processus, et non une méthode de collecte de données. Les méthodes mixtes, les enquêtes, les études de cas et les entretiens peuvent tous être intégrés dans une approche ECU. Les méthodes sont choisies en fonction de ce qui produira des résultats crédibles et utiles pour les utilisateurs identifiés.

Exemples

Examen à mi-parcours, Afrique de l'Ouest. Un programme d'autonomisation économique des femmes financé par CARE au Sénégal a eu recours à l'ECU pour son examen à mi-parcours. L'utilisateur principal visé était le Directeur Pays, qui devait décider quelle composante du programme approfondir et laquelle abandonner avant la planification de l'Année 3. L'évaluation a été conçue avec trois ensembles de résultats distincts : un pour la décision de financement du Directeur Pays, un pour les ajustements opérationnels de l'équipe du programme, et un pour les exigences de reddition de comptes du bailleur. Chaque ensemble utilisait des données de la même évaluation mais était présenté, formaté et chronologiquement adapté différemment. Le Directeur Pays a mis en œuvre les trois changements de composantes recommandés dans les 30 jours suivant la réception des résultats.

Évaluation sommative, Afrique de l'Est. Un programme de gouvernance financé par USAID au Kenya a appliqué l'ECU pour son évaluation finale. Les principaux utilisateurs visés étaient la Mission USAID et la contrepartie du programme du gouvernement hôte, chacun ayant des utilisations prévues différentes. L'évaluateur a animé un atelier d'apprentissage conjoint où les deux parties ont examiné les résultats préliminaires ensemble, clarifiant les interprétations et identifiant les implications avant la rédaction du rapport final. Le rapport qui en a résulté a été utilisé directement dans la conception du programme de suivi d'USAID, une utilisation documentée qui satisfaisait aux exigences d'utilisation de l'évaluation d'USAID.

Apprentissage organisationnel, Asie du Sud. Une ONG internationale au Bangladesh, ayant un historique d'évaluations non lues, a commandé un examen du processus ECU avant de mener toute nouvelle évaluation. L'examen a révélé que les évaluations passées avaient échoué parce qu'elles répondaient à des questions dont aucun décideur ne se souciait et qu'elles étaient livrées après que les décisions avaient été prises. Le cadre ECU a ensuite été appliqué pour repenser le système d'évaluation, reliant explicitement les questions d'évaluation au cycle annuel d'examen du programme.

Comparé À

Indicateurs Pertinents

24 indicateurs sont disponibles dans les cadres CRS, USAID, DFID et CARE. Exemples clés :

• Nombre d'utilisateurs principaux visés engagés de manière substantielle dans la conception de l'évaluation (cible : minimum 2)
• Proportion des questions d'évaluation directement liées aux besoins de décision des utilisateurs nommés
• Cas documentés d'utilisation des résultats d'évaluation dans des décisions de programme ou organisationnelles dans les 6 mois suivant le rapport
• Score de satisfaction des utilisateurs concernant la pertinence et l'opportunité de l'évaluation (noté sur une échelle de 1 à 5)

Outils Connexes

• Planificateur d'évaluation : structurez votre conception d'évaluation en intégrant les utilisateurs, l'utilisation prévue et le calendrier.

Sujets Connexes

• Termes de Référence d'Évaluation : le document où les utilisateurs et l'utilisation prévue doivent être spécifiés.
• Agendas d'Apprentissage : un outil complémentaire pour identifier les questions d'apprentissage prioritaires au sein de l'organisation.
• Gestion Adaptative : la pratique de gestion de programme qui repose sur l'utilisation des résultats d'évaluation en temps réel.
• Évaluation Développementale : l'approche de Patton pour les programmes complexes et émergents, qui partage la même focalisation sur l'utilisation que l'ECU.
• Plans de SEA : le plan de suivi opérationnel qui fournit des données pour les évaluations axées sur l'utilisation.