Pipelines Assurance Qualité

Coût nul

Ces vérifications basées sur des règles s'exécutent en quelques millisecondes, sans aucun appel à l'IA. Elles détectent les défaillances les plus courantes à un coût nul.

• Validateur de schéma. Vérifie que la sortie respecte les champs, types et la structure attendus.
• Validateur de format. Assure que la sortie correspond au format, aux sections et à la hiérarchie des titres prévus.
• Validateur de plage. Vérifie que les champs numériques se situent dans des limites acceptables.
• Vérification d'unicité. Garantit l'absence d'identifiants en double ou de collisions dans les champs énumérés.
• Vérificateur de sous-chaîne. Confirme que les citations extraites sont bien présentes dans le matériel source.
• Scanner d'identifiants. Détecte les informations personnellement identifiables (IPI) avant qu'elles ne quittent l'infrastructure locale.

Coût LLM par appel

Un modèle d'IA indépendant évalue la sortie en la comparant à une grille d'évaluation ou au matériel source.

• Juge basé sur une grille d'évaluation. L'IA évalue la sortie selon des critères de qualité spécifiques, attribuant un score de 0 à 1.
• Détection d'hallucinations. Les affirmations contenues dans la sortie sont recoupées avec le matériel source.
• Vérification des preuves. Vérifie que chaque affirmation citée est étayée par des preuves fondatrices.
• Détection des lacunes. Identifie le contenu qui devrait être présent mais qui est manquant.
• Vérification de cohérence. Assure que le même concept ou code est appliqué de manière cohérente à travers tous les éléments.
• Vérification du ton. Garantit que la sortie respecte l'image de marque et maintient un ton cohérent.

Coût LLM multi-appels

Génère plusieurs options, puis un juge sélectionne la meilleure. Cette approche est justifiée lorsque la qualité des variantes est hétérogène.

• Tournoi de variantes. Génère 3 à 5 variantes pour une étape donnée ; le juge évalue chacune et la meilleure est retenue.
• Filtre de consensus. Trois juges indépendants votent ; la majorité détermine la réussite ou l'échec.
• A/B comparatif. Compare la sortie révisée à l'originale et retient la meilleure version.

Tentatives limitées

En cas d'échec d'une porte, une correction automatique est tentée, suivie d'une nouvelle exécution. Le nombre d'itérations est limité (deux ou trois) afin d'éviter des coûts excessifs.

• Cycle d'auto-réparation. La sortie ayant échoué est automatiquement corrigée en fonction de la porte spécifique défaillante, puis une nouvelle tentative est effectuée.
• Critique et révision. Une IA formule une critique, puis une seconde IA applique les corrections en utilisant cette critique comme contexte.
• Boucle qualité. Évaluation et révision itératives jusqu'à l'atteinte du seuil de qualité ou de la limite d'itérations.

Varie

Applique le niveau d'assurance qualité (AQ) approprié à chaque type de tâche. Toutes les portes ne nécessitent pas toutes les vérifications.

• Porte d'échantillonnage. Pour les pipelines fiables et à volume élevé, l'AQ est effectuée sur un échantillon statistique.
• Seuil adaptatif. Les sorties à enjeux plus élevés requièrent des scores plus élevés pour être validées.
• Humain dans la boucle. Les scores limites (0,75-0,84) sont acheminés vers une file d'attente de révision humaine ; les scores inférieurs sont automatiquement bloqués.