Signal et bruit : la crédibilité des sorties d'IA vue par un sismologue

Le quotidien d’un sismologue, c’est chercher du signal dans le bruit. Dans un enregistrement continu, presque tout n’est que le bourdonnement de fond du vent, du trafic et de la houle ; les vrais événements sont rares, et souvent profondément enfouis. À force, on développe un scepticisme quasi réflexe : devant une belle forme d’onde, la première réaction n’est pas l’enthousiasme mais une question — qu’est-ce qui prouve qu’elle est vraie ?

Après deux ans de collaboration intensive avec l’IA, j’ai peu à peu réalisé que cette discipline du doute se transfère presque telle quelle.

La boîte à outils de crédibilité du sismologue

Face à un « événement candidat », nous faisons en gros quatre choses :

1. Regarder d’abord le bruit de fond. Qu’un pic soit significatif ne dépend pas de sa hauteur, mais de ce qu’il dépasse du fond. Le rapport signal sur bruit précède tout autre jugement.
2. Recouper entre stations. Un beau pic sur une seule station n’est peut-être qu’un camion qui passe. Un vrai événement apparaît sur plusieurs stations avec des décalages physiquement cohérents — si les temps de trajet ne collent pas, aucune beauté n’y suffira.
3. Reproduire. Retraiter avec d’autres paramètres, une autre fenêtre de temps : la conclusion tient-elle encore ?
4. Chercher activement à réfuter. Se demander sérieusement : existe-t-il un mécanisme de bruit qui expliquerait tout cela aussi bien ?

Remplacez « forme d’onde » par « réponse d’IA »

Substituez la réponse d’une IA à la forme d’onde, et les quatre règles n’ont presque pas besoin d’être retouchées.

La fluidité est le bruit de fond des sorties d’IA. Tout ce que produit un modèle de langage porte un vernis de « ça a l’air juste » ; « ça se lit comme crédible » n’a donc aucun pouvoir discriminant — de même que « c’est beau » n’a jamais prouvé qu’une onde était un séisme. Le jugement ne peut venir que de preuves externes : le code a-t-il vraiment tourné ? Où sont la commande et la sortie ? C’est une règle que je m’impose — « vérifié = commande + sortie » — l’équivalent du contrôle des temps de trajet.

Une réponse unique est un enregistrement mono-station. Pour les conclusions qui comptent, je fais revérifier le travail par une seconde IA au contexte vierge, ou je refais le raisonnement par un autre chemin — ce n’est que lorsque deux voies indépendantes arrivent au même point que la crédibilité monte vraiment.

Et enfin, la réfutation : plutôt que de demander en boucle « est-ce correct ? », essayez de le casser — violez délibérément une prémisse et regardez si la conclusion bouge. Une « conclusion » qui ne bronche jamais n’est généralement pas robuste ; elle n’écoute pas.

La même leçon, deux fois

Ce que la sismologie m’avait appris, l’IA me l’a réappris : plus le résultat est beau, plus il faut garder la tête froide. La crédibilité n’est pas une sensation ; c’est une chaîne de preuves.

Retournée, la phrase est plus douce qu’elle n’en a l’air — vous n’avez pas besoin de vous méfier de votre collègue IA, pas plus que de votre sismomètre. Il vous suffit d’installer la vérification croisée dans votre façon de travailler ensemble, puis de consacrer votre attention, l’esprit tranquille, aux problèmes vraiment intéressants.