Publicité · liens affiliés
Vous modifiez la consigne de votre assistant IA pour obtenir des réponses plus courtes. La nouvelle version paraît plus claire. Deux jours plus tard, un collègue remarque qu’elle omet parfois la période des chiffres. Le service répond toujours, sans message d’erreur. Pourtant, une information utile a disparu. Pour repérer ce genre de recul, conservez des cas témoins : des demandes stables, accompagnées de ce qu’une réponse acceptable doit contenir.
Le 16 octobre 2026, AWS a présenté un cadre d’évaluation utilisant Amazon Bedrock AgentCore. Le fournisseur décrit des erreurs de réponses que les indicateurs de fonctionnement n’avaient pas révélées, et compare les versions sur un ensemble de référence. Ce retour interne, sans valeur de test indépendant pour votre entreprise, rappelle l’intérêt de suivre la qualité au fil des changements. Une petite équipe peut commencer plus modestement, avec quelques situations préparées et relues.
Choisir des cas qui représentent votre travail
Un cas témoin sert à vérifier une capacité précise. « Fais un bon résumé » laisse trop de place à l’interprétation. Une demande qui nomme le document, la période et les informations indispensables permet une comparaison plus utile. Avant de constituer cette réserve, précisez le premier usage de l’IA dans votre PME. Un assistant qui prépare des rendez-vous ne se juge pas comme un outil chargé de retrouver une facture.
Imaginez une entreprise fictive de maintenance. Son assistant prépare une fiche avant chaque visite. L’équipe choisit un client avec une seule installation, un autre avec plusieurs sites, puis un dossier dont une information manque. Elle ajoute une demande ambiguë, où deux établissements portent des noms proches. Ces situations font apparaître des difficultés différentes. Une série composée uniquement de dossiers simples donnerait une impression trop favorable du résultat.
Il n’existe pas de nombre universel de cas suffisant. Commencez par un ensemble que votre équipe peut examiner sérieusement, puis élargissez-le lorsque de nouvelles erreurs apparaissent. Gardez aussi quelques demandes à l’écart des ajustements quotidiens. Elles permettront de vérifier que l’assistant progresse sur d’autres formulations que celles utilisées pour modifier sa consigne.
Décrire une réponse acceptable sans imposer chaque mot
Pour chaque demande, notez les éléments indispensables et les erreurs qui rendent le résultat inutilisable. Dans notre entreprise fictive, une fiche de visite doit identifier le bon établissement, indiquer la date de la dernière intervention et préciser les travaux encore ouverts. Si cette date manque dans le dossier, la réponse doit le signaler. Une date plausible inventée reste une erreur, même si le reste du texte est agréable à lire.
Séparez les vérifications exactes et les appréciations rédactionnelles. Une référence d’équipement ou une unité se compare directement à la source. La clarté d’une explication demande davantage de jugement. Vous pouvez accepter plusieurs formulations tout en exigeant la présence des informations nécessaires. Cette distinction évite de pénaliser une bonne réponse parce qu’elle emploie des mots différents du corrigé.
Ajoutez les conséquences de l’erreur. Une ponctuation maladroite n’a pas le même effet qu’une confusion entre deux clients. L’équipe peut décider qu’une mauvaise identité interdit l’utilisation de la fiche, tandis qu’un texte trop long appelle une retouche. Ces critères doivent être fixés avant de comparer les versions. Sinon, on risque d’assouplir la règle pour favoriser la réponse que l’on préfère déjà.
Le contrôle peut prolonger la méthode de vérification d’une réponse d’IA avant utilisation. Les cas témoins ajoutent une dimension : refaire une comparaison connue après un changement, afin de repérer ce qui s’est amélioré ou détérioré.
Comparer deux versions dans des conditions connues
Conservez la demande, les documents nécessaires et leurs versions dans un espace de travail adapté. Utilisez des données fictives ou des copies autorisées pour l’évaluation. Retirer un nom ne suffit pas toujours à rendre un dossier anonyme ; un ensemble de détails peut encore désigner une personne. Évitez de multiplier les copies de dossiers réels simplement pour enrichir vos essais.
Si vous cherchez l’effet d’une nouvelle consigne, gardez autant que possible le même modèle, les mêmes outils et les mêmes documents. Lorsque plusieurs éléments changent ensemble, notez-le : la comparaison porte alors sur une combinaison de changements. Elle ne permet pas d’attribuer avec certitude le résultat à une seule modification. Un assistant relié à des données vivantes exige notamment de vérifier si la source a elle-même évolué.
Les réponses peuvent varier entre deux exécutions identiques. Une réussite isolée ne démontre donc pas une fiabilité durable. Pour les cas importants, répétez l’essai et conservez les résultats, y compris les échecs. Si l’agent dispose d’outils capables d’envoyer un message ou de modifier un dossier, préparez avec le responsable technique un environnement où ces actions sont simulées ou empêchées. L’évaluation ne doit pas déclencher des opérations réelles par inadvertance.
Lire les écarts avant de regarder la moyenne
Supposons, toujours dans cet exemple fictif, que la nouvelle version améliore la présentation de huit fiches mais confonde un établissement sur une demande difficile. Une moyenne globale peut masquer ce recul. Examinez chaque cas, puis regroupez les erreurs : identité, période, information absente, formulation. Vous pourrez ainsi décider si le changement reste acceptable pour le travail concerné.
Gardez une trace courte des désaccords entre relecteurs. Si l’un considère une réponse suffisante et l’autre inutilisable, revenez à la tâche attendue. Faut-il que le technicien puisse préparer son matériel sans rouvrir le dossier ? Doit-il pouvoir retrouver la pièce justificative ? Cette discussion précise le critère, au lieu de transformer une préférence personnelle en verdict sur le modèle.
Un second modèle peut aider à trier les réponses à examiner. Son appréciation peut aussi être erronée. Pour les faits vérifiables, privilégiez la comparaison à une référence connue et faites relire les cas sensibles. Conservez enfin le coût d’un résultat réellement utilisable dans votre bilan : une version qui réclame davantage de corrections peut déplacer le travail plutôt que le réduire.
Faire évoluer la réserve sans effacer les anciens échecs
Lorsqu’une erreur nouvelle apparaît, transformez-la en cas de contrôle, après avoir retiré les données inutiles et obtenu les autorisations nécessaires. Décrivez ce qui s’est passé, la réponse attendue et la raison pour laquelle le cas compte. Garder uniquement les demandes qui réussissent rendrait la réserve moins utile au moment où vous en avez besoin.
Certains corrigés vieillissent. Un contact, un contrat ou une procédure peut changer alors que la demande reste identique. Datez donc les références, désignez une personne chargée de leur révision et distinguez une erreur de réponse d’une référence devenue fausse. L’actualisation des documents utilisés par l’IA reste un chantier complémentaire. La qualité du contrôle dépend aussi de la qualité de ce qui sert à juger.
Préparez une règle de décision simple : qui examine les écarts, quelles erreurs empêchent d’adopter la nouvelle version, et comment revenir au fonctionnement précédent si nécessaire ? Cette décision appartient à l’organisation responsable de l’outil. Le score aide à la prendre ; il ne constitue pas, à lui seul, une autorisation de changement.
Relier la qualité des réponses aux décisions qu’elles préparent
Dans Power and Prediction: The Disruptive Economics of Artificial Intelligence, les économistes Ajay Agrawal, Joshua Gans et Avi Goldfarb examinent le rôle de la prédiction et du jugement dans les décisions. Cet angle aide à préciser l’utilité d’un contrôle : quelle décision humaine dépendra de la réponse ? L’ouvrage offre une réflexion économique sur l’IA, plutôt qu’un manuel de tests pour agents.
Pour votre prochain changement de consigne, reprenez une tâche fréquente et une situation qui a déjà posé problème. Décrivez ce qui doit rester juste dans chacune, puis comparez les réponses avant de généraliser la modification. Vous disposerez d’un premier repère concret pour décider, et d’une erreur de moins à redécouvrir sans l’avoir cherchée.
