Concevoir une Situation de Référence Efficace

Quand l'utiliser

La conception d'une situation de référence est l'approche pertinente lorsque vous devez établir un point de départ clair pour mesurer le changement. Elle est particulièrement utile pour :

• Définition des cibles d'indicateurs : Les équipes de conception manquent souvent d'informations suffisantes pour proposer des cibles spécifiques avec confiance lors de la rédaction des propositions. Il est préférable de définir les cibles des indicateurs après la réalisation de l'étude de référence du projet et de les inclure dans le plan d'indicateurs du programme.
• Mesure de l'impact du programme : Vous devez comparer les conditions finales aux conditions initiales pour évaluer si votre intervention a généré un changement.
• Éclairer l'adaptation du projet : Vous souhaitez disposer de données de référence qui informent directement les décisions critiques pendant la mise en œuvre, et non pas uniquement pour le rapportage aux bailleurs de fonds.
• Répondre aux exigences des bailleurs de fonds : Les bailleurs de fonds tels que l'USAID, CRS et FCDO exigent la documentation des valeurs de référence dans le Tableau de Suivi de la Performance des Indicateurs (IPTT) ou l'équivalent du bailleur.
• Projets de longue durée : Pour les projets de 18 mois et plus, réalisez une situation de référence dans les 6 premiers mois ; pour les projets plus courts, menez la situation de référence avant le démarrage ou au plus tard 3 mois après le début de la mise en œuvre.

La conception d'une situation de référence est moins pertinente dans les cas suivants :

• Projets de très courte durée : La documentation des valeurs de référence n'est pas toujours requise pour les projets d'une durée inférieure à trois ans.
• Vous avez besoin uniquement de suivi de routine : Pour le suivi continu des activités, la collecte de données de suivi de routine suit un processus différent.
• Réponse d'urgence rapide : Pour une réponse d'urgence immédiate, une évaluation rapide des besoins, avec une méthodologie différente et plus rapide, est nécessaire.

Comment ça marche

La conception d'une situation de référence repose sur plusieurs principes fondamentaux qui la distinguent des autres activités de collecte de données :

Priorité à l'utilité décisionnelle. Chaque donnée collectée doit servir une décision spécifique et clairement identifiée. Si vous ne pouvez pas articuler quelle décision de projet spécifique chaque indicateur éclairera, remettez en question sa nécessité. Ce principe permet d'éviter l'écueil courant des situations de référence riches en données mais pauvres en informations, qui collectent des données excessives et non essentielles.

Prendre en compte la charge. La collecte de données n'est pas gratuite. Chaque indicateur ajouté à une enquête de référence représente des coûts en termes de temps, d'argent et de ressources humaines. Évaluez la charge (temps, coût, complexité, fatigue des participants) de la collecte de chaque donnée. Si cette charge l'emporte sur la valeur informative pour une décision critique, remettez en question ou rejetez l'indicateur. C'est une application fondamentale du principe de la conscience de la charge.

Alignement avec la structure du projet. Assurez-vous que la collecte de données s'aligne sur la logique du projet, les indicateurs définis et toute exigence structurelle pertinente (par exemple, les modules du bailleur de fonds). La situation de référence doit faciliter l'analyse et le rapportage ultérieurs, et non générer des données difficiles à coder et à analyser.

La comparabilité est cruciale. Concevez les méthodes de la situation de référence et de la situation finale de manière à ce qu'elles soient aussi identiques que possible afin de permettre des comparaisons valides. Documentez tout écart nécessaire. Si la situation de référence et la situation finale utilisent des méthodologies, des outils ou des définitions différents, les comparaisons perdent leur sens.

Les situations de référence et finale ne sont pas des évaluations en soi. Les études de situation de référence et de situation finale ne sont pas des évaluations en soi, mais constituent une partie importante de l'évaluation du changement. Elles contribuent généralement à l'évaluation du projet/programme (par exemple, une évaluation finale ou d'impact), mais peuvent également alimenter le suivi des changements sur des projets/programmes de plus longue durée.

Éléments Essentiels

Une conception de situation de référence bien élaborée comprend les éléments essentiels suivants :

• Identification des décisions : Une liste documentée et hiérarchisée des décisions clés du projet que les données de la situation de référence éclaireront. Cela va au-delà des catégories générales pour aborder des questions précises sur les informations nécessaires à chaque décision.
• Sélection des indicateurs : Une liste concise et documentée d'indicateurs essentiels liés aux décisions. Chaque indicateur sélectionné doit être directement lié à une décision priorisée, et la charge de collecte de données pour chaque indicateur doit être démontrablement justifiée par sa pertinence décisionnelle.
• Méthodologie de collecte de données : Les méthodes les plus appropriées et rentables pour collecter chaque donnée (par exemple, enquêtes ménages, entretiens avec des informateurs clés, groupes de discussion, observation directe, examen de données secondaires). Les méthodes doivent être claires, concises, non ambiguës et culturellement sensibles.
• Stratégie d'échantillonnage : Une base d'échantillonnage représentative avec des calculs de taille d'échantillon appropriés, des procédures de sélection des répondants et une couverture géographique. Pour les indicateurs nécessitant des données statistiquement robustes, assurez un échantillonnage représentatif et des intervalles de confiance.
• Outils de collecte de données : Outils préliminaires (questionnaires, guides d'entretien, listes de contrôle) qui sont clairs, concis, faciles à administrer et minimisent la charge pour les répondants et les enquêteurs.
• Protocoles de gestion des données : Décrivent comment les données seront collectées, saisies, nettoyées, stockées et sécurisées. Spécifiez les formats de données, les règles de validation et les contrôles de qualité.
• Plan d'assurance qualité : Procédures pour la formation des enquêteurs, la supervision, la vérification des données et les contrôles ponctuels pour assurer l'exactitude et la fiabilité des données.
• Procédures de consentement éclairé : Formulaires de consentement éclairé clairs, simples et culturellement appropriés, ainsi que des scripts de consentement verbal expliquant l'objectif de la collecte de données, l'utilisation des données, les mesures de confidentialité, les risques et avantages potentiels, et le droit du participant de refuser ou de se retirer à tout moment sans pénalité.
• Approbation éthique : Autorisation éthique formelle de l'organe d'examen désigné avant le début de la collecte de données.

Meilleures Pratiques

Collecter les données de situation de référence au moment opportun. Les données de situation de référence doivent être collectées au tout début d'un projet ou dès que possible après son démarrage. Pour les projets de longue durée (18 mois et plus), réalisez une situation de référence dans les 6 premiers mois ; pour les projets plus courts, menez la situation de référence avant le début ou au plus tard 3 mois après le début de la mise en œuvre.

Lier chaque indicateur à une décision. Pour chaque indicateur de référence proposé, demandez-vous : "Si ces données montrent X, quelle décision prendrons-nous différemment ?" Si vous ne pouvez pas y répondre, l'indicateur est probablement à retirer ou à réviser. Cela garantit que la situation de référence sert d'outil dynamique pour l'adaptation, et non pas simplement d'enregistrement historique.

Inclure les valeurs de situation de référence ou les plans pour tous les indicateurs. Tout comme chaque résultat nécessite au moins un indicateur de performance, chaque indicateur a besoin d'une cible, et chaque cible a besoin d'une situation de référence.

Intégrer les plans de situation de référence dans les documents de projet. Les plans de situation de référence doivent être intégrés dans le Plan d'Investissement du Bailleur (DIP), reflétés dans le Tableau de Suivi de la Performance des Indicateurs (IPTT), et clairement liés aux indicateurs du Plan de S&E qui nécessitent une situation de référence.

Définir les cibles après l'achèvement de la situation de référence. Les équipes de conception n'auront souvent pas d'informations suffisantes pour proposer des cibles spécifiques avec confiance. Il est préférable de définir les cibles des indicateurs après la réalisation d'une étude de référence du projet et de les inclure dans le plan d'indicateurs du programme. À l'issue d'une évaluation de référence du projet, les décideurs du projet définissent les cibles des indicateurs. Ces cibles doivent être éclairées par les résultats de la situation de référence, le calendrier du projet, les ressources humaines et financières consacrées au projet, ainsi que la perméabilité ou la difficulté du contexte, y compris les niveaux d'incertitude.

Sélectionner des méthodes de collecte de données appropriées. Sélectionnez des méthodes de collecte de données de référence qui s'alignent et soutiennent la conception d'évaluation globale, sont appropriées pour les indicateurs donnés, et répondent aux exigences des bailleurs de fonds. Les méthodes doivent être les plus efficientes et efficaces pour rassembler les données requises tout en minimisant la charge des répondants et des enquêteurs.

Documenter correctement les valeurs de situation de référence. Une fois la valeur de référence d'un indicateur déterminée, enregistrez la valeur et la date de collecte dans la colonne 'valeur de référence' du Plan d'Indicateurs. Les projets doivent documenter les valeurs de référence dans le Tableau de Suivi de la Performance des Indicateurs (IPTT) ou l'équivalent du bailleur de fonds.

Collecter les informations de situation de référence avant le début des activités du projet. Les informations de référence pour tous les indicateurs doivent être mesurées et rapportées avant le début des activités du projet. Cela garantit un véritable point de départ pour mesurer le changement.

Pièges Courants

Collecter des données sans utilité décisionnelle. L'erreur la plus fréquente est de concevoir une situation de référence qui collecte des données uniquement pour le rapportage aux bailleurs de fonds, sans un plan clair sur la manière dont ces données éclaireront les décisions. Lorsque chaque donnée ne peut être liée à une décision de projet spécifique, vous avez créé une charge excessive qui gaspille des ressources.

Utiliser des méthodologies différentes pour la situation de référence et la situation finale. Si la situation de référence et la situation finale utilisent des méthodes, des outils ou des définitions différents, les comparaisons perdent leur sens. Concevez les deux phases de manière à ce qu'elles soient aussi identiques que possible afin de permettre des comparaisons valides. Documentez tout écart nécessaire.

Omettre les tests pilotes. Se précipiter pour déployer sans test pilote conduit à des erreurs majeures et coûteuses sur le terrain. Un test pilote doit identifier systématiquement les problèmes de clarté des outils, de fluidité, de longueur et d'adéquation culturelle avant le déploiement complet.

Sous-estimer les délais d'examen éthique. Les délais d'examen éthique peuvent varier considérablement et nécessiter un suivi proactif. Sous-estimer le temps requis pour l'examen et l'approbation entraîne un décalage du calendrier du projet.

Collecter la situation de référence après le démarrage du projet. Pour les projets où la situation de référence est menée après le début de la mise en œuvre, vous avez déjà perdu la capacité de mesurer les conditions initiales réelles. Les informations de référence doivent être mesurées avant le début des activités du projet.

Ne pas documenter les valeurs de situation de référence. Une fois les valeurs de référence déterminées, elles doivent être enregistrées dans le Plan d'Indicateurs. Sans documentation appropriée, vous ne pouvez pas suivre les progrès par rapport aux cibles ou démontrer le changement aux bailleurs de fonds.

Traiter la situation de référence comme une évaluation. Les études de situation de référence et de situation finale ne sont pas des évaluations en soi. Elles sont des composantes importantes de l'évaluation du changement et contribuent à l'évaluation du projet/programme, mais elles ne constituent pas une évaluation complète.

Exemples

Moyens de Subsistance Agricoles - Afrique de l'Est

Un programme de résilience agricole de 5 ans au Kenya et en Ouganda a développé une conception de situation de référence qui liait explicitement chaque indicateur à une décision critique du projet. L'équipe a identifié cinq décisions clés : quelles cultures promouvoir pour le marché, quels types de formation les agriculteurs nécessitent, quels obstacles à l'accès au marché existent, quels groupes d'agriculteurs sont les plus réceptifs aux nouvelles techniques, et comment allouer les ressources. Pour chaque décision, ils ont collecté uniquement les données nécessaires pour l'éclairer. Lorsque le suivi à mi-parcours a révélé que la tenure foncière était la contrainte majeure (et non la disponibilité des semences comme initialement prévu), le programme a redirigé les ressources en conséquence. La situation de référence a fonctionné comme un outil de diagnostic, et non pas simplement comme un artefact de conception.

Eau, Assainissement et Hygiène - Asie du Sud

Un programme d'eau et d'assainissement au Bangladesh a conçu des enquêtes de situation de référence et de situation finale pour qu'elles soient identiques en termes de méthodologie, d'outils et d'approche d'échantillonnage. Cela a permis une comparaison valide des résultats de santé entre les deux périodes. L'évaluation a révélé que la communication pour le changement de comportement était responsable de 60 % des améliorations de santé, tandis que les infrastructures contribuaient à 40 %. Sans une conception comparable entre la situation de référence et la situation finale, cette découverte serait restée invisible.

Protection - Afrique de l'Ouest

Un programme de protection en Sierra Leone avait initialement prévu une situation de référence complète avec 80 indicateurs. En adoptant une approche axée sur les décisions, l'équipe a cartographié chaque indicateur par rapport à une décision de projet et a constaté que seuls 25 indicateurs éclairaient directement des choix critiques. Les 55 indicateurs restants ont été collectés comme des données "agréables à savoir" via des sources secondaires, dans la mesure du possible, réduisant le temps d'enquête de 90 à 45 minutes et libérant des ressources pour une analyse plus approfondie des données essentielles.

Comparé à

La conception d'une situation de référence est l'une des nombreuses approches pour établir les conditions initiales. Les différences clés sont :

Indicateurs Pertinents

18 indicateurs issus de 4 cadres majeurs de bailleurs de fonds (USAID, CRS, FCDO, ECHO) sont pertinents pour la conception et l'utilisation d'une situation de référence :

• Documentation de la situation de référence : "Proportion des indicateurs avec des valeurs de référence documentées collectées avant le début du projet" (USAID)
• Lien décisionnel : "Pourcentage de la collecte de données de référence liée à des décisions de projet spécifiques" (FCDO)
• Calendrier de la situation de référence : "Évaluation de la situation de référence achevée dans les 6 mois suivant le début du projet pour les projets de 18 mois et plus" (CRS)
• Documentation IPTT : "Valeurs de référence documentées dans le Tableau de Suivi de la Performance des Indicateurs (IPTT)" (USAID)

Sujets Connexes

• Sélection d'indicateurs : Sélectionner les bons indicateurs pour votre situation de référence
• Indicateurs SMART : S'assurer que les indicateurs de référence sont mesurables et spécifiques
• Méthodes d'échantillonnage : Choisir un échantillonnage approprié pour votre situation de référence
• Conception d'enquête : Concevoir des outils de collecte de données efficaces
• Charge de collecte de données : Minimiser la charge pour les répondants et les enquêteurs
• Définition des cibles : Définir des cibles basées sur les résultats de la situation de référence
• Suivi vs Évaluation : Comprendre la place de la situation de référence dans le système de S&E