Critères d'évaluation
Tous les éléments présents. Chaque question est formulée en une seule phrase lisible. Aucune subordonnée imbriquée nécessitant une relecture. Aucun acronyme non défini ni jargon technique. Un répondant peut répondre dès la première lecture sans reformuler.
Toutes les questions lisibles à la première lecture. Pas plus de deux questions présentent une complexité structurelle légère (une subordonnée imbriquée ou un terme exigeant une brève explication).
La moitié ou plus des questions sont clairement formulées ; les autres présentent des problèmes ponctuels (une expression ambiguë, une subordonnée imbriquée ou un terme non défini). Les problèmes ne sont pas systématiques.
Plus de 20 pour cent des questions nécessitent une relecture ou contiennent du jargon non défini, des subordonnées imbriquées ou une ambiguïté syntaxique.
Absent ou inadéquat. Les questions sont systématiquement peu claires, avec un jargon généralisé, des formulations alambiquées ou des phrases qu'un répondant type devrait analyser plusieurs fois.
Tous les éléments présents. Aucune question n'utilise de cadrage orienté, de termes chargés ni d'indices de désirabilité sociale. Les options fermées ne signalent pas de réponse préférée.
Toutes les questions globalement neutres. Pas plus de deux questions contiennent un cadrage légèrement orienté ou un seul modificateur chargé peu susceptible de modifier sensiblement les réponses.
La moitié ou plus des questions sont neutres ; les autres contiennent une formulation orientée ponctuelle, des adjectifs porteurs de jugement de valeur ou des options de réponse pondérées vers un extrême. Les problèmes ne sont pas systématiques.
Plus de 20 pour cent des questions contiennent un cadrage orienté, des termes chargés ou des indices de désirabilité sociale qui biaiseraient prévisiblement les réponses.
Absent ou inadéquat. La formulation orientée ou chargée est systématique dans l'ensemble, y compris dans les items de mesure principaux.
Tous les éléments présents. Chaque question porte sur un seul concept. Aucun « et » ou « ou » reliant deux attributs. Aucun regroupement de périodes ou de sujets distincts.
Toutes les questions à concept unique. Pas plus de deux items combinent des éléments étroitement liés où les répondants répondraient plausiblement de manière cohérente.
La moitié ou plus des questions sont à concept unique ; les autres regroupent deux idées connexes. Les problèmes ne sont pas systématiques et pourraient être séparés avec une légère reformulation.
Plus de 20 pour cent des questions sont à double détente, portant sur deux concepts ou plus auxquels les répondants pourraient plausiblement répondre différemment.
Absent ou inadéquat. Les questions à double détente sont répandues, y compris dans les items de mesure principaux.
Tous les éléments présents. Chaque question à composante temporelle indique une période de référence. Chaque question numérique indique les unités. Le sujet est explicite.
Toutes les questions précisent les périodes de référence, les unités et les sujets, avec pas plus de deux items où l'un de ces éléments est implicite plutôt qu'énoncé.
La moitié ou plus des questions sont entièrement précises ; les autres laissent un élément (période de référence, unité ou sujet) implicite. Les problèmes ne sont pas systématiques.
Plus de 20 pour cent des questions manquent d'une période de référence, d'une unité ou d'un sujet explicite, créant une variance prévisible des réponses.
Absent ou inadéquat. Les lacunes de précision sont systématiques ; les répondants doivent régulièrement deviner le cadre temporel, l'unité ou le sujet.
Tous les éléments présents. Le vocabulaire correspond au niveau d'alphabétisation documenté pour la population cible. Aucune expression idiomatique non transposable. Aucune hypothèse sur la structure du ménage, la profession ou l'accès à la technologie qui ne tient pas.
Vocabulaire approprié. Pas plus de deux items utilisent un terme ou une expression idiomatique qui pourrait être inconnu d'une minorité de la population cible.
La moitié ou plus des questions conviennent à la population cible ; les autres comprennent des termes, expressions ou hypothèses ponctuels qui ne passeraient pas auprès de certains répondants. Les problèmes ne sont pas systématiques.
Plus de 20 pour cent des questions utilisent un vocabulaire au-dessus du niveau de lecture documenté, des expressions intraduisibles ou des hypothèses incompatibles avec la population cible.
Absent ou inadéquat. Le vocabulaire et les hypothèses culturelles sont systématiquement mal alignés avec la population cible.
Interprétation du score
| Total (sur 25) | Niveau | Prochaine étape |
|---|---|---|
| 22-25 | Solide | Les questions sont prêtes pour le prochain niveau d'examen (structure, éthique, alignement sur les indicateurs). |
| 17-21 | Adéquat | Aborder les dimensions signalées. Effectuer un test cognitif des items révisés auprès de 3 à 5 répondants cibles. |
| 11-16 | Nécessite une révision | Révision substantielle de la formulation requise. Utilisez l'invite de Révision et traitez son résultat comme votre note de révision. |
| 5-10 | Révision substantielle | Reconstruire à partir des indicateurs, et non du projet actuel. Effectuer un test cognitif avant le déploiement. |