Conception de systèmes de S&E

Quand recourir à la conception de systèmes de S&E ?

La conception d'un système de S&E est l'approche idéale lorsque votre organisation souhaite aller au-delà de la collecte de données ad hoc et établir une capacité de S&E durable. Elle est particulièrement pertinente dans les situations suivantes :

• Vous lancez une nouvelle organisation ou un nouveau programme : L'établissement du S&E à partir de zéro nécessite une conception intentionnelle plutôt que des mesures réactives.
• Vous souhaitez accroître la maturité de votre S&E : Vous passez d'une surveillance de conformité de base à des systèmes axés sur l'apprentissage qui éclairent la prise de décision.
• Vous identifiez et comblez des lacunes en matière de capacités de S&E : Après qu'une évaluation des capacités de S&E révèle des faiblesses structurelles (par exemple, pas de personnel dédié, pas de processus de gestion des données, pas de boucles de rétroaction).
• Vous visez à pérenniser la S&E, même en cas de changements de personnel : Vous construisez des systèmes qui perdurent au-delà des champions individuels.
• Vous devez répondre aux exigences des donateurs : De nombreux donateurs (USAID, FCDO, Fonds mondial) exigent désormais des conceptions de systèmes de S&E documentées dans le cadre des propositions.
• Vous préparez une évaluation d'impact : Un système de S&E fonctionnel est la base de toute évaluation d'impact crédible.

La conception de systèmes de S&E est moins appropriée pour des corrections opérationnelles rapides (pour cela, un plan de S&E ciblé est plus indiqué) ou lorsque l'organisation est en situation de crise et ne peut s'engager dans un processus de conception de 3 à 6 mois.

Comment concevoir un système de S&E ?

La conception d'un système de S&E repose sur un processus structuré, dont la séquence est cruciale, chaque étape s'appuyant sur la précédente.

1. Définir les objectifs et la portée. Répondez à la question fondamentale : « Pourquoi avons-nous besoin de S&E et quelle doit être son étendue ? » Cette définition des objectifs servira de référence pour toutes les décisions ultérieures concernant les besoins en information, les approches méthodologiques, le renforcement des capacités et l'allocation des ressources. Précisez si le S&E servira principalement la reddition de comptes, l'apprentissage ou les deux.

2. Mener une analyse des parties prenantes. Identifiez qui a besoin d'informations de S&E, quelles décisions ils prennent et quelles données ils requièrent. La planification d'un système de S&E basée sur les besoins et les attentes des parties prenantes est essentielle pour garantir la compréhension, l'appropriation et l'utilisation des informations de S&E. Impliquez les parties prenantes clés dès le début, du personnel du programme aux bénéficiaires, afin de favoriser leur adhésion.

3. Évaluer les capacités existantes. Appuyez-vous sur les capacités et les pratiques de S&E existantes plutôt que de créer des processus entièrement nouveaux. L'introduction de nouveaux processus de S&E peut surcharger les capacités locales et aliéner les parties prenantes. Si les pratiques de S&E actuelles sont précises, fiables et opportunes, coordonnez-vous avec elles et complétez-les pour optimiser le temps et les ressources.

4. Concevoir l'architecture du système. Cartographiez les composants interconnectés : structure de gouvernance, flux de données, rôles et responsabilités, outils et technologies, ainsi que les mécanismes de rétroaction. Les différentes étapes du S&E sont interconnectées et doivent être considérées comme faisant partie d'un système de soutien mutuel. Ces étapes ne sont pas nécessairement distinctes, mais interdépendantes, et se produisent souvent simultanément.

5. Établir la gouvernance et les rôles. Clarifiez que le S&E fait partie intégrante du travail de chacun, du personnel de terrain au directeur de projet. Parallèlement, les fonctions de S&E doivent occuper une position claire au sein de la structure du projet, avec une visibilité et une autorité bien définies. Définissez qui est responsable de la collecte, de l'analyse, de la communication et de l'utilisation des données à chaque niveau.

6. Allouer les ressources et renforcer les capacités. Assurez-vous que les ressources humaines et financières, l'infrastructure, l'équipement et les fournitures nécessaires sont disponibles pour soutenir la production, l'analyse et l'utilisation des données. Le renforcement des capacités locales implique souvent de parcourir chaque étape du processus de S&E avec les parties prenantes. Le développement du système de S&E et la formation des parties prenantes clés doivent se dérouler de concert, et non comme des activités distinctes.

7. Intégrer dans la conception du programme. Commencez à planifier votre système de S&E immédiatement après l'étape de conception du projet ou du programme. Le S&E doit être intégré dès la conception de la réponse, et non être une réflexion après coup. Incluez le rôle du S&E dans l'ordre du jour de la planification annuelle de votre programme national pour vous assurer qu'il reçoit l'attention et les ressources appropriées.

Éléments clés d'un système de S&E

Un système de S&E bien conçu intègre les éléments essentiels suivants :

• Définition des objectifs : Une articulation claire de la raison pour laquelle l'organisation a besoin de S&E et de son étendue, servant de point de référence pour toutes les décisions de conception.
• Structure de gouvernance : Rôles, responsabilités et lignes hiérarchiques définis pour les fonctions de S&E, avec une autorité et une visibilité claires au sein de la hiérarchie organisationnelle.
• Infrastructure de gestion des données : Systèmes de collecte, de stockage, de sécurisation et de récupération des données de S&E, y compris les outils, les technologies et les procédures opérationnelles standard.
• Plan de renforcement des capacités : Formation et soutien ciblés pour renforcer les capacités locales en S&E, intégrés à la conception du système plutôt que dispensés sous forme de sessions théoriques distinctes.
• Mécanismes de rétroaction et d'apprentissage : Processus structurés pour transformer les données en informations et en décisions, y compris des cycles d'examen réguliers et des voies d'adaptation.
• Allocation des ressources : Budget et personnel dédiés aux activités de S&E, proportionnels à la taille et à la complexité du programme.
• Mécanismes de coordination : Processus d'alignement du S&E entre les programmes et au niveau national, évitant la duplication et favorisant l'apprentissage collectif.
• Cadre d'engagement des parties prenantes : Implication continue des parties prenantes clés dans la conception, la mise en œuvre et l'utilisation du S&E pour assurer l'appropriation et la pertinence.

Bonnes pratiques pour la conception de systèmes de S&E

Intégrez la planification du S&E dès la conception du programme. Débutez la planification du système de S&E dès la phase de conception du projet ou du programme, et non une fois la mise en œuvre commencée. Le S&E doit être intégré à la conception de la réponse dès le départ, son rôle étant explicitement inclus dans les discussions de planification annuelle.

Basez la conception sur les besoins des parties prenantes. Concevez le système de S&E en fonction des besoins et des attentes des parties prenantes afin de garantir la compréhension, l'appropriation et l'utilisation des informations de S&E. Impliquez le personnel du programme, les bénéficiaires et les partenaires dans le processus de conception pour favoriser leur adhésion et vous assurer que le système répond aux besoins réels de prise de décision.

Capitalisez sur les capacités existantes. Appuyez-vous sur les capacités et les pratiques de S&E existantes plutôt que de créer des processus entièrement nouveaux. L'introduction de nouveaux processus peut surcharger les capacités locales et aliéner les parties prenantes. Si les pratiques actuelles sont précises, fiables et opportunes, coordonnez-vous avec elles et complétez-les pour optimiser le temps et les ressources.

Clarifiez les rôles et l'autorité. Établissez que le S&E fait partie intégrante du travail de chacun, du personnel de terrain au directeur de projet, tout en conférant aux fonctions de S&E une position claire au sein de la structure du projet, avec une visibilité et une autorité bien définies. Cette double approche assure l'appropriation du S&E sans créer de silos.

Allouez des ressources adéquates. Assurez-vous que le système de S&E dispose des ressources humaines et financières, de l'infrastructure, de l'équipement et des fournitures nécessaires pour soutenir la production, l'analyse et l'utilisation des données. Les systèmes de S&E sous-financés sont la cause la plus fréquente de leur défaillance.

Intégrez le renforcement des capacités à la conception du système. Renforcez les capacités locales en parcourant chaque étape du processus de S&E avec les parties prenantes. Le développement du système de S&E et la formation des parties prenantes clés doivent se dérouler de concert, et non comme des sessions théoriques distinctes. Cette approche assure le transfert de compétences et l'appropriation du système.

Coordonnez les efforts entre les programmes. Alignez les efforts de S&E entre les programmes et au niveau national afin d'éviter la duplication, de favoriser l'apprentissage collectif et de maximiser l'impact des investissements en S&E. La coordination doit figurer régulièrement à l'ordre du jour des discussions de planification.

Considérez le S&E comme un ensemble de processus interconnectés. Reconnaissez que les étapes du S&E sont interconnectées et doivent être considérées comme faisant partie d'un système de soutien mutuel. Ces étapes ne sont pas nécessairement distinctes, mais interdépendantes, et se produisent souvent simultanément. Concevez pour l'intégration, et non pour les silos.

Pièges à éviter lors de la conception d'un système de S&E

Négliger l'importance de la conception de systèmes de S&E. L'erreur la plus fréquente est de croire que le S&E « se fera tout seul » ou qu'il pourra être mis en place ultérieurement. Les institutions doivent reconnaître et prendre en compte leur besoin d'une évaluation des capacités de S&E avant d'entamer la conception. Sans une conception intentionnelle, le S&E reste réactif et fragmenté.

Définir le S&E de manière trop restrictive. Un système de suivi et d'évaluation ne doit pas être défini uniquement comme un outil de collecte de données. Il est conçu pour guider l'ensemble du processus de collecte, d'analyse et d'utilisation des données, dans le but de mesurer et de documenter les réalisations, et d'éclairer continuellement la planification des programmes et les décisions politiques. De nombreuses organisations se concentrent uniquement sur la collecte de données, négligeant ainsi l'analyse et l'utilisation.

Séparer la formation de la conception du système. Organiser des formations en S&E sous forme de sessions théoriques, distinctes de la conception réelle du système, conduit à des connaissances qui ne se traduisent pas en pratique. Le renforcement des capacités doit se faire de concert avec le développement du système.

Ignorer les besoins de coordination. Ne pas coordonner le S&E entre les programmes et au niveau national entraîne des duplications, des opportunités d'apprentissage manquées et une utilisation inefficace des ressources. Le S&E doit être un effort collectif, et non des silos isolés.

Sous-financer le S&E. Les systèmes de S&E doivent garantir la disponibilité des ressources humaines et financières, de l'infrastructure, de l'équipement et des fournitures nécessaires. Sans ressources adéquates, même les systèmes les mieux conçus sont voués à l'échec.

Exemples concrets

ONG internationale - Région de l'Afrique de l'Est

Une ONG régionale, active au Kenya, en Ouganda et en Somalie, gérait trois programmes distincts, chacun avec sa propre approche de S&E. Suite à une évaluation des capacités de S&E qui a révélé des duplications et une qualité de données inconsistante, l'organisation a entrepris de concevoir un système de S&E régional coordonné. L'innovation majeure fut une structure hybride : le personnel de S&E au niveau des programmes est resté intégré dans chaque bureau de pays pour assurer la pertinence contextuelle, tandis qu'un conseiller régional en S&E a coordonné l'apprentissage inter-programmes et standardisé les indicateurs clés. La conception incluait des sessions annuelles de planification du S&E où le rôle du S&E était explicitement discuté en parallèle de la planification des programmes. En 18 mois, la qualité des données s'est améliorée de 40 %, et l'organisation a pu démontrer l'apprentissage inter-programmes aux donateurs. Le système a perduré malgré deux changements de direction, car il était institutionnalisé et ne dépendait pas d'individus.

Organisation locale - Asie du Sud

Une petite organisation locale au Bangladesh, désireuse de passer d'un à cinq projets, manquait de capacités en S&E. Plutôt que de faire appel à des consultants externes pour concevoir un système, elle l'a bâti en étroite collaboration avec ses points focaux S&E. Chaque étape du processus de S&E, de la sélection des indicateurs à l'analyse des données, a été menée avec le personnel, transformant ainsi la conception du système en une opportunité de renforcement des capacités. Ils se sont appuyés sur les pratiques existantes lorsqu'elles étaient solides, évitant l'introduction de processus inutiles. Le résultat fut un système que le personnel s'est approprié et a pleinement compris, avec des rôles et une autorité clairs pour les fonctions de S&E. Lorsque l'organisation a ensuite sollicité des financements plus importants auprès des donateurs, sa conception documentée du système de S&E s'est avérée un facteur de différenciation majeur.

Réponse humanitaire - Afrique de l'Ouest

Au Nigeria, un coordinateur humanitaire a reconnu que le S&E devait être intégré dès la conception de la réponse, et non être ajouté après le début de l'urgence. Il a inscrit le rôle du S&E à l'ordre du jour de la planification annuelle et a obtenu des lignes budgétaires dédiées à l'infrastructure de S&E. Le système de S&E a été conçu pour assurer la coordination entre plusieurs organisations intervenantes, évitant ainsi la duplication et permettant de construire une preuve collective de l'efficacité des actions dans ce contexte. Cette approche coordonnée leur a permis de démontrer l'impact aux donateurs, malgré un environnement opérationnel difficile.

Comparaison avec d'autres approches

La conception de systèmes de S&E est l'une des approches clés pour optimiser la pratique du S&E. Voici les principales différences avec d'autres méthodes :

Indicateurs clés liés à la conception de systèmes de S&E

23 indicateurs, issus de 5 cadres de donateurs majeurs (USAID, DFID/FCDO, Fonds mondial, CEDEAO), sont directement liés à la conception et à l'institutionnalisation des systèmes de S&E :

• Documentation de la conception du système : "Proportion of programs with documented M&E system design" (USAID)
• Fonctionnalité du système : "Percentage of M&E system components assessed as functional" (DFID/FCDO)
• Comblement des lacunes en capacités : "Number of M&E system capacity gaps addressed through targeted interventions" (Global Fund)
• Cycles d'examen : "Frequency of M&E system review and update cycles" (ECOWAS)
• Coordination : "Proportion of M&E activities coordinated across programs and at country level" (USAID)

Articles connexes

• Plans de S&E : Le document opérationnel qui traduit la conception du système de S&E en activités spécifiques au programme.
• Gestion adaptative : L'approche de gestion qui utilise les données du système de S&E pour la prise de décision.
• Sélection d'indicateurs : Le choix d'indicateurs appropriés dans le cadre du système de S&E.
• Gestion des données : La composante d'infrastructure technique des systèmes de S&E.
• Assurance qualité des données : Assurer la fiabilité des données de S&E au sein du système.
• Renforcement des capacités en S&E : Développer les capacités locales en S&E dans le cadre de la conception du système.
• Engagement des parties prenantes : S'assurer que la conception du système de S&E reflète les besoins des parties prenantes.