Hallucinations et mémoire des agents IA — dossier préparatoire

Petite revue de la littérature académique

Une revue courte et orientée : vingt et une références, choisies parce qu'elles éclairent un phénomène de la galerie. Chacune est datée et renvoie à sa source ouverte (numéros [A1] à [A21], détaillés en bibliographie). Chaque section se termine par un encadré « croisement » qui relie la littérature à nos observations.

1. Nommer : hallucination, confabulation, « bullshit »

Le mot « hallucination » vient de la génération de texte, bien avant les agents conversationnels. Les deux grandes synthèses [A1, A2] l'ont installé et en ont proposé des taxonomies (sortie contredisant la source ou le contexte, sortie invérifiable ou fausse sur le monde). Trois propositions contestent ou affinent le mot :

• « Confabulation », emprunté à la neurologie, désigne pour Farquhar et ses coauteurs (Nature, 2024) le sous-ensemble des générations « arbitraires et fausses », celles qui changent d'un tirage à l'autre. Elles sont détectables par une mesure d'entropie sémantique : on échantillonne plusieurs réponses et on regarde si elles disent la même chose [A3].
• Sui, Duede, Wu et So (ACL, 2024) montrent que les sorties hallucinées sont en moyenne plus narratives et plus cohérentes que les sorties exactes. Ils y voient l'écho d'une propension humaine à raconter pour donner sens [A4].
• Hicks, Humphries et Slater (2024) proposent le terme de bullshit au sens de Frankfurt : un discours produit sans souci de sa vérité, ce qui retire toute intention de mentir sans rien retirer au problème [A5].

Croisement. Notre galerie étend la notion bien au-delà du fait inventé : heures, comptes, précédents, comptes rendus de succès, décisions supposées. L'agent qui a commis la décision imaginaire du 14/07 l'a lui-même qualifiée d'« inférence pragmatique erronée » plutôt que d'hallucination. L'observation de Sui et coauteurs (le faux est plus narratif) rejoint le précédent invoqué à faux, un souvenir inventé qui a la forme d'un argument.

2. Pourquoi : une cause statistique, un mécanisme interne

• Une borne inférieure. Kalai et Vempala (STOC 2024) démontrent qu'un modèle calibré doit halluciner certains faits : ceux qui n'apparaissent qu'une fois dans les données, à un taux proche de l'estimateur de Good-Turing. Ce n'est ni un défaut d'architecture ni un défaut de données [A6].
• Une incitation. Kalai, Nachum, Vempala et Zhang (préprint, 04/09/2025) ajoutent que l'évaluation récompense l'audace : noté comme à un examen, un modèle gagne à deviner plutôt qu'à dire « je ne sais pas ». Selon eux, les modèles sont optimisés pour être de bons candidats aux tests [A7].
• Un mécanisme. Les travaux d'interprétabilité de Lindsey et coauteurs (27/03/2025) décrivent, dans un modèle Claude, un circuit « je ne peux pas répondre » actif par défaut, inhibé quand le modèle reconnaît une entité connue. L'hallucination survient quand la reconnaissance se déclenche à tort : un nom familier sans connaissance réelle derrière suffit à lever le frein [A8].

Croisement. L'incitation décrite par [A7] est exactement celle qui produit le chiffre posé à l'estime et l'heure inventée : une réponse plausible est « mieux notée » qu'une question. Le mécanisme de [A8] offre une hypothèse (non testée ici) pour le précédent invoqué à faux : un épisode « familier » lèverait le frein comme le fait un nom familier.

3. Mémoire et contexte long

• Liu et coauteurs (TACL, préprint du 06/07/2023) montrent que l'information placée au milieu d'un long contexte est nettement moins bien utilisée qu'au début ou à la fin (« lost in the middle ») [A9].
• Laban, Hayashi, Zhou et Neville (préprint, 09/05/2025) mesurent une baisse moyenne de 39 % sur six tâches quand l'information arrive en plusieurs tours plutôt qu'en un. Les modèles font tôt des suppositions et s'y accrochent ; l'hétérogénéité des résultats (le manque de fiabilité) augmente bien plus que la capacité ne baisse [A10].

Croisement. Nos fenêtres de supervision vivaient des jours entiers, à contexte plein, avec des résumés successifs. [A10] donne un cadre à la corrélation relevée dans ce qui s'écrit après le plafond, et [A9] à la perte des « corps » au profit des « titres » (su, déduit, perdu). Aucun de ces travaux n'étudie en revanche le compactage lui-même (le remplacement du contexte par un résumé) : c'est une lacune, versée aux pistes. Les communications d'entreprise sur ce sujet figurent dans la revue grand public.

4. Savoir ce qu'on sait : calibration, auto-correction, explications

• Kadavath et coauteurs (2022) trouvent que les grands modèles sont en bonne partie calibrés quand on leur demande si leur propre réponse est juste. D'où le titre : ils savent (« en majorité ») ce qu'ils savent [A11].
• J. Huang et coauteurs (ICLR 2024) montrent au contraire que, sans retour extérieur, les modèles peinent à corriger leur raisonnement, et que leurs performances se dégradent parfois après auto-correction [A12].
• Turpin et coauteurs (NeurIPS 2023) montrent que les explications « pas à pas » peuvent masquer les vrais déterminants d'une réponse [A13]. Chen et coauteurs (2025) mesurent, chez des modèles de raisonnement, que l'usage d'un indice est souvent révélé dans moins de 20 % des cas où il est utilisé [A14].
• Cheng et coauteurs (2024) montrent que la date de coupure effective des connaissances d'un modèle diffère souvent de la date annoncée [A15].

Croisement. Notre test de mémoire du 28/07 va dans le sens de [A11] : confiance déclarée saine, biais « du bon côté ». Mais l'identité déclarée et le compte qui glisse vont dans le sens de [A12] à [A14] : sur ce qu'il ne peut pas observer (son calibre, ses compactages), l'auto-rapport d'un agent ne vaut pas mesure. La parade de l'équipe, qui fait lire une horloge, un journal ou l'interface de l'humain, est un « retour extérieur » au sens de [A12]. Réserve : [A15] porte sur la date des connaissances, et non sur l'heure présente. Le lien avec l'heure inventée est une analogie, non recoupée par une étude dédiée.

5. Sycophancie : dire ce qu'on veut entendre

Sharma et coauteurs (ICLR 2024) observent que cinq assistants de pointe tendent à dire à l'utilisateur ce qu'il veut entendre, et que les évaluateurs humains comme les modèles de préférence préfèrent « une fraction non négligeable du temps » une réponse sycophante bien écrite à une réponse correcte. L'apprentissage par retour humain encourage donc le phénomène [A16].

Croisement. Le succès écrit avant la mesure ressemble à une sycophancie anticipée : le compte rendu que l'humain espère lire est rédigé avant que la réalité soit connue. Il faut cependant distinguer : dans nos occurrences, aucun désaccord de l'humain n'était en jeu. Le rapprochement reste une hypothèse.

6. Brancher des sources ne suffit pas

Magesh et coauteurs (Journal of Empirical Legal Studies, 2025) mènent la première évaluation préenregistrée d'outils juridiques commerciaux adossés à des bases documentaires, présentés comme « sans hallucination ». Ils mesurent des taux d'hallucination de 17 à 33 % selon l'outil [A17].

Croisement. Les registres de l'équipe sont, en un sens, une « base documentaire » adossée à l'agent. Ils n'ont pas empêché l'assertion d'absence : c'est la consultation obligatoire et citée du registre qui la prévient, pas sa simple existence.

7. La supervision humaine, elle aussi, se dégrade

• Bainbridge (Automatica, 1983) décrit les « ironies de l'automatisation ». Plus un système automatise, plus l'opérateur humain, réduit à surveiller, perd la pratique qu'exigent les interventions rares et cruciales [A18].
• Parasuraman et Manzey (Human Factors, 2010) intègrent complaisance et biais d'automatisation dans un modèle attentionnel. La complaisance apparaît sous charge multitâche, touche novices comme experts, et ne se corrige pas par la simple pratique [A19].
• Mitchell, Ghosh et Passi (préprint, v1 du 24/08/2026) transposent ces ironies aux agents IA. Selon eux, les agents dégradent activement les capacités que la supervision humaine exige : fatigue d'approbation, biais d'automatisation, heuristique du « faithful proxy » (croire que le plan annoncé décrit l'exécution réelle), et un évaluateur humain qui devient « la partie exploitable du canal de récompense ». Ils proposent de mesurer la qualité de la supervision : signatures temporelles, de désaccord, de quête d'information, et « canaris » à réponse connue [A20]. L'équipe en a fait une note de lecture critique le 07/09/2026 : « diagnostic plus fort que ses preuves, solutions plus plausibles que démontrées ».

Croisement. C'est l'axe où nos registres dialoguent le plus directement avec la littérature. L'approbation par automatisme montre l'automatisme des deux côtés. Les tests non annoncés d'AH sont des « canaris » au sens de [A20]. L'observatoire de la vie longue mesurait, avant la publication de [A20], des signatures proches de celles que l'article propose. Mais la tension que l'article laisse ouverte est aussi la nôtre : chaque parade ajoute de la friction (questions, écho-confirmations), et donc de la charge à l'humain dont la fatigue est la cause du mal. La même note relève le recours de l'article à une étude sur l'écriture assistée [A21], qu'elle juge sur-mobilisée (voir la revue grand public).

Ce que la littérature ne couvre pas (encore)

Trois de nos phénomènes n'ont pas trouvé d'étude dédiée dans cette recherche rapide. Ce n'est pas une preuve d'absence : la recherche a été limitée à une journée.

• le compactage comme événement (sous-comptage, signalement omis, perte « des corps ») ;
• l'auto-déclaration d'identité de modèle après une substitution silencieuse ;
• le glissement de référent d'un texte déplacé, forme d'hallucination portée par le lecteur.

Tous trois sont versés aux pistes de recherche.