Choisir les méthodes de collecte de données

Le principe du choix des méthodes

Beaucoup de plans de S&E choisissent les méthodes de collecte dans le mauvais ordre. Ils partent de « nous ferons une enquête », puis cherchent après coup des questions pour la remplir. À titre d'illustration, un plan peut aboutir à un questionnaire très long, à un calendrier d'analyse étiré et à une base de données qui arrive après que les décisions qu'elle devait éclairer ont déjà été prises.

L'ordre correct est l'inverse. Partir de la décision à prendre. Déterminer ce qu'il faut savoir pour la prendre. Fixer la qualité minimale de données que cette décision exige. Choisir ensuite la méthode qui fournit cette qualité avec la charge la plus faible.

Deux principes guident chaque choix de méthode.

Les méthodes suivent les décisions, pas les préférences. Supposons que la décision porte sur l'extension d'une clinique mobile à d'autres villages. Il faut alors des données de couverture, c'est-à-dire la part de la population atteinte, et des taux d'utilisation. Une enquête auprès des ménages peut fournir les deux. Les registres de routine peuvent montrer une tendance des services rendus, mais pas la couverture, car ils ne comptent pas les personnes qui n'ont pas été atteintes. La couverture exige une enquête ou un recensement pour établir ce dénombrement. Un groupe de discussion (FGD) ne peut pas donner la précision que cette décision demande, aussi à l'aise que soit l'équipe avec les méthodes qualitatives.

La charge de collecte est un coût réel. Chaque méthode prend du temps et de l'énergie à quelqu'un : membres de la communauté, personnes qui s'occupent des enfants, agents de santé communautaires (ASC), coordinateurs de terrain ou personnel de saisie. Ce coût doit être proportionné à la valeur de l'information. Une enquête de 60 minutes auprès de 600 ménages, une fois par an, se justifie si elle mesure des indicateurs de résultat déterminants. La même enquête chaque trimestre ne se justifie pas.

Notez trois éléments avant de choisir une méthode : la décision précise que les données éclaireront, qui la prendra et quand cette personne a besoin de l'information. Si vous ne pouvez pas renseigner les trois, vous collectez des données sans finalité décisionnelle. Arrêtez-vous et demandez-vous si la collecte est nécessaire.

Les principales méthodes de collecte de données

Toutes les méthodes ne conviennent pas à tous les indicateurs. Le tableau présente les huit méthodes les plus courantes en S&E du développement. Les coûts et les durées sont des fourchettes habituelles et varient selon le contexte. Termes utilisés dans le tableau :

• Enquêteurs : personnel de terrain formé qui recueille les données d'enquête.
• Biais de rappel : mémoire défaillante des événements passés.
• Biais de désirabilité sociale : réponses données selon ce que les autres attendent.
• CAP : connaissances, attitudes et pratiques.

Durées habituelles des entretiens : 30 à 60 minutes pour un entretien d'enquête auprès des ménages, 45 à 60 minutes pour un EIC, 60 à 90 minutes pour un FGD. Lorsque la connexion est mauvaise, utiliser des formulaires papier ou des formulaires sur téléphone qui fonctionnent hors ligne et se synchronisent plus tard. Quelle que soit la méthode, obtenir d'abord le consentement éclairé et tester les outils auprès de quelques répondants.

Un constat ressort. Les méthodes les mieux adaptées aux rapports de redevabilité (enquêtes auprès des ménages, évaluations des établissements) sont les plus coûteuses et les plus lentes. Les méthodes les mieux adaptées au suivi de routine (registres administratifs, collecte de données par mobile) sont les moins chères et les plus rapides. Un système de S&E qui associe les deux est plus efficient qu'un système qui s'appuie sur une seule méthode pour tout.

Choisir les méthodes après le plan d'analyse, pas avant. Pour obtenir une prévalence du retard de croissance avec un intervalle de confiance à 95%, il faut une enquête à échantillon probabiliste, dans laquelle chaque ménage a une chance connue d'être sélectionné. Si seul le sens de l'évolution est nécessaire, par exemple savoir si la couverture s'améliore ou se dégrade, les registres de suivi de routine suffisent. Partir de la méthode pour remonter ensuite à l'analyse conduit presque toujours à collecter trop, ou à collecter la mauvaise chose.

Avant et après

La différence entre un choix de méthodes hâtif et un choix réfléchi se voit facilement côte à côte.

Avant (méthode choisie par habitude) :

« Nous ferons une enquête pour mesurer tous nos indicateurs. »

Après (méthodes associées aux indicateurs) :

« Les indicateurs de prévalence et de connaissances seront mesurés par une enquête auprès des ménages comportant un volet anthropométrique (mesure de la taille et du poids) et un module CAP. Les indicateurs de prestation et de qualité des services seront suivis à partir des registres du programme et d'une observation trimestrielle dans les établissements. Les indicateurs de perception communautaire seront explorés par des FGD avec les personnes qui s'occupent des enfants. Les indicateurs de changement au niveau du système, dont le taux d'aboutissement des références, seront évalués par des EIC auprès du personnel de santé et par un examen des documents des établissements. L'enquête et les FGD se dérouleront ensemble lors de la situation de référence, à mi-parcours et en fin de projet, selon un dispositif convergent (les deux méthodes sont menées en même temps et leurs résultats sont comparés). Les coordinateurs de terrain examineront les registres du programme chaque mois et les consolideront chaque trimestre. »

La seconde version n'est pas plus compliquée : elle dit plus honnêtement ce dont chaque indicateur a besoin.

Exemple pratique : Healthy Futures

Healthy Futures est un programme fictif de nutrition infantile dans le district de Kasenda, financé par un bailleur. Il compte 18 indicateurs. Le responsable S&E ne se demande pas si l'enquête auprès des ménages peut tous les mesurer. Pour chaque indicateur, il cherche la méthode la moins lourde qui donne la qualité dont la décision a besoin. Trois indicateurs montrent la démarche.

L'indicateur 3 est la part des enfants de 6 à 23 mois qui consomment au moins 5 groupes d'aliments sur 8.

L'enquête de situation de référence couvre 600 ménages, soit 40 par communauté. Le responsable S&E la pilote. 12 enquêteurs et 3 superviseurs recueillent les données, et les responsables de zone appuient la saisie. Neuf FGD, 3 dans chaque zone, ne sont rattachés à aucun indicateur. Ils expliquent les résultats de l'enquête, par exemple ce qui rend les aliments nutritifs faciles ou difficiles d'accès.

Le contrôle du calendrier montre que mener l'enquête, les FGD et l'évaluation des ASC pendant les mêmes semaines surchargerait les trois responsables de zone. Le responsable S&E échelonne l'évaluation des ASC pour qu'elle suive le travail de terrain de l'enquête.