Votre agent IA tourne. Mais est-ce qu'il dit vrai ?
Un agent IA est un programme qui fait un travail à votre place, chaque jour, sans qu'on le surveille : relancer des prospects, écrire des comptes rendus, mettre un CRM à jour. Le danger n'est pas qu'il tombe en panne. C'est qu'il continue de tourner en produisant des résultats faux, sans que personne s'en aperçoive. Voici comment ça nous est arrivé.
De quoi parle-t-on exactement ?
Prenez un exemple simple. Vous confiez à un stagiaire une tâche répétitive : envoyer un mail à cent prospects, puis relancer ceux qui n'ont pas répondu, puis vous dire chaque vendredi combien ont répondu. Un agent IA, c'est ce stagiaire, sauf qu'il ne dort pas, ne se trompe jamais d'adresse, et vous rend son rapport à l'heure.
Le stagiaire, vous le voyez travailler. Vous lisez ses mails par-dessus son épaule. S'il vous annonce que cent prospects sur cent ont répondu, vous savez tout de suite que quelque chose cloche. L'agent, personne ne le regarde travailler. Il vous rend un chiffre. Et si le chiffre est faux, il est faux avec la même assurance qu'un chiffre vrai.
C'est de ça que parle cet article : comment savoir si un agent qui tourne fait vraiment ce qu'il annonce.
Ce que faisait notre agent, et ce qui s'est passé le 27 août
Nous faisons tourner un agent de prospection pour notre propre compte. Son travail, en trois temps. Un : il envoie un premier mail à un prospect. Deux : si le prospect ne répond pas, il envoie une relance quelques jours plus tard, puis une dernière. Trois : il lit notre boîte de réception pour repérer les réponses, et il arrête la séquence dès qu'un prospect a répondu, pour ne pas relancer quelqu'un qui a déjà dit oui ou non. Chaque semaine, il nous écrit un récapitulatif : combien de mails envoyés, combien de réponses.
Pendant une semaine, le récapitulatif a annoncé quatre réponses. Quatre réponses pour quatre relances envoyées. Un taux de 100 %. Le genre de chiffre qu'on a envie de croire.
Les quatre réponses n'existaient pas. Voici ce qui s'était passé. Quand l'agent envoie une relance, il répond au premier mail, dans le même fil de discussion. Or l'outil qu'il utilise pour répondre envoie, par défaut, à tous les participants du fil. Et dans ce fil, il y a le prospect, et il y a nous. Chaque relance partait donc au prospect et à notre propre boîte. L'agent lisait ensuite notre boîte, y trouvait un nouveau message dans le fil, et le comptait comme une réponse du prospect. Puis il marquait la séquence « répondu » et cessait de relancer.
Résultat : quatre prospects qui n'avaient jamais répondu ont été classés comme ayant répondu. Aucune dernière relance n'est partie pendant six jours. Et le rapport du vendredi annonçait un succès.
Chaque pièce avait fait son travail. L'envoi envoyait. La lecture lisait. Le rapport rapportait. Et le résultat était faux de bout en bout.
Pourquoi personne ne l'a vu plus tôt ?
Parce que rien n'était cassé. Aucune erreur, aucune alerte, un voyant vert à chaque exécution. C'est le piège des agents : on surveille qu'ils tournent, pas qu'ils ont raison. Un programme qui plante, ça se voit. Un programme qui compte faux se lit comme un succès.
Ce qui nous a alertés, c'est le chiffre lui-même. En prospection, un taux de réponse de 100 % n'existe pas. Une réponse reçue exactement à l'heure de l'envoi, quatre fois de suite, n'existe pas non plus. Le chiffre était trop beau, donc il était faux. Il a suffi de chercher les quatre adresses dans la boîte : aucun message reçu d'aucune d'elles.
Ce n'est pas un cas isolé. Gartner prévoit que plus de 40 % des projets d'agents IA seront abandonnés d'ici fin 2027, et cite en premier les coûts qui dérapent, la valeur introuvable et les risques mal maîtrisés. Un agent dont personne ne sait s'il dit vrai coche les trois.
Comment savoir si votre agent dit vrai ?
Cinq signaux, tous vérifiables en cinq minutes, sans rien connaître à la technique. Si vous en voyez un, allez vérifier à la source avant de croire le chiffre.
- Un chiffre parfait. 100 % de réponses, zéro erreur, 100 % de comptes rendus bien rangés. Le réel n'est jamais rond. Un chiffre parfait mesure autre chose que ce qu'il annonce.
- Une réponse qui arrive à l'heure exacte de l'envoi. Ou une signature datée du jour où le devis a été créé. L'agent a confondu ce qu'il a fait avec ce qu'il a observé.
- Un zéro trop rapide. Un contrôle qui répond « rien à signaler » en une seconde n'a peut-être rien cherché. Nous l'avons vécu aussi : un contrôle de sécurité qui répondait « propre » parce qu'il cherchait au mauvais endroit. Le résultat était vide, pour la mauvaise raison.
- Un travail fini trop vite. Quarante dossiers traités en deux secondes, c'est un agent qui est sorti avant de commencer.
- Un rapport qui ne surprend jamais. S'il dit la même chose chaque semaine, il ne lit peut-être plus rien.
Comment on rend un agent honnête ?
Trois règles, appliquées à chaque agent que nous livrons, et que nous avons dû réappliquer au nôtre.
On vérifie le résultat, pas le voyant. Un voyant vert dit que le programme a tourné. Il ne dit pas qu'il a bien fait. La preuve, c'est ce que l'agent devait produire : la note dans le CRM, le brouillon dans la boîte, le prospect réellement contacté. On va la voir. Au début, on va la voir à chaque fois.
On teste les garde-fous en provoquant la faute. Un garde-fou, c'est une règle du type « ne jamais compter un message venu de notre propre boîte comme une réponse ». Un garde-fou qui n'a jamais rien attrapé n'a jamais été prouvé. Alors on provoque volontairement la faute qu'il doit attraper, on vérifie qu'il l'attrape, on retire la faute, on vérifie qu'il repasse au vert. Après notre panne, nous avons ajouté trois tests qui rejouent le scénario exact. Ils échoueront le jour où quelqu'un retirera la protection.
On lit les chiffres comme un médecin lit une température. Chaque rapport est relu par un humain, avec une question simple : ce chiffre est-il possible ? Un taux parfait, un zéro absolu, une date trop régulière déclenchent une vérification avant toute célébration.
| Ce qu'on surveillait | Ce qu'on surveille maintenant |
|---|---|
| L'agent a tourné sans erreur | L'agent a produit le résultat attendu, et on l'a vu |
| Le taux de réponse | Le taux de réponse, et s'il est possible |
| Une règle de protection écrite | Une règle prouvée par un test qui provoque la faute |
| Un rapport automatique | Un rapport relu par un humain chaque semaine |
| Une alerte quand l'agent plante | Une alerte quand il plante, et une quand il se tait |
Que faut-il retenir si vous avez un agent en production ?
Que la bonne question n'est pas « est-ce qu'il tourne » mais « est-ce qu'il dit vrai ». Posez-lui les cinq questions ci-dessus ce matin. Si un chiffre est parfait, allez voir la source. Si votre prestataire vous a livré un agent sans rapport hebdomadaire ni alerte de silence, demandez-les avant la mise en production, pas après.
Chez nous, la panne a coûté six jours de relances et un rapport faux. Elle nous a rendu trois tests, une règle de plus dans notre méthode, et cet article. C'est le prix normal d'un agent qu'on fait tourner pour de vrai. Notre façon de livrer un agent avec sa surveillance est décrite sur la page d'accueil. Ce que donne la vérification par un second chemin sur des données réelles est dans le cas un CRM fiable et actionnable.
Les questions qu'on nous pose
Un agent qui a tourné sans erreur, ce n'est pas suffisant ?
Non. « Sans erreur » veut dire que le programme n'a pas planté. Il peut avoir écrit au mauvais endroit, compté ses propres messages, ou ne rien avoir cherché. La seule preuve est le livrable constaté : la note dans le CRM, le brouillon dans la boîte, le contact réellement joint.
Qui doit surveiller l'agent, vous ou nous ?
L'agent lui-même, d'abord : chaque agent que nous livrons porte ses alertes et son récapitulatif. Ensuite, un humain regarde ce récapitulatif chaque semaine, chez vous ou chez nous selon la formule. Un agent silencieux déclenche une alerte. Vous n'apprenez jamais une panne par hasard.
Comment tester un garde-fou sans attendre la panne ?
Par un contrôle positif : on injecte volontairement la faute que le garde-fou doit attraper, on vérifie qu'il l'attrape, on retire la faute, on vérifie qu'il repasse au vert. Un contrôle qui n'a jamais rien attrapé n'a jamais été prouvé.
Combien coûte cette surveillance ?
Quelques heures à la mise en production, puis quelques minutes par semaine. Bien moins que six jours de relances non envoyées ou qu'une décision prise sur un chiffre faux. La surveillance fait partie de la livraison, elle n'est pas une option.