CONCEPT · FICHE RÉDIGÉE
Ce que la machine a sous les yeux au moment où elle répond — et comment elle décide de ce qu’elle y regarde.
Un modèle de langue n’a pas de mémoire. À chaque réponse, il relit tout depuis le début — la consigne du système, l’historique de la conversation, les documents joints, la question — et produit la suite. Ce « tout » a une taille maximale, comptée en tokens : c’est la fenêtre de contexte.
Trois conséquences, qui déroutent régulièrement les utilisateurs :
| Ce qu’on observe | Pourquoi |
|---|---|
| « Il a oublié ce que je lui ai dit » | Rien n’a été oublié : le début de la conversation est sorti de la fenêtre, ou a été résumé pour y tenir. Ce n’est pas une défaillance de mémoire, c’est une limite de lecture. |
| « Il répond mieux quand je redonne le contexte » | Évidemment : ce qui n’est pas dans la fenêtre n’existe pas pour lui. Redonner le contexte n’est pas un rappel poli, c’est la seule manière de le rendre disponible. |
| « Il perd le fil au milieu d’un long document » | Effet documenté : la qualité d’exploitation n’est pas uniforme sur toute la fenêtre. Ce qui se trouve au début et à la fin est mieux traité que ce qui est enfoui au milieu. |
Et une conséquence pratique qui vaut d’être dite en salle : le texte français coûte plus cher de fenêtre que le texte anglais, à contenu égal, parce qu’il se découpe en davantage de fragments (fiche 1).
La démo vecteurs donne à chaque mot une position, fixe. Les modèles actuels ne fonctionnent plus ainsi, et c’est là toute la rupture de 2017.
Le mécanisme d’attention laisse chaque fragment du texte regarder tous les autres et ajuster sa position en fonction de ce qu’il y trouve. Le mot « avocat » n’a pas la même position selon qu’il voisine « salade » ou « tribunal ». Ce n’est plus un dictionnaire de positions, c’est un dictionnaire qui se réécrit à chaque lecture.
Une image qui tient. Dans un banquet, chaque convive écoute tout le monde en même temps, mais accorde plus de poids à certains — selon le sujet en cours. À la fin de la phrase, chacun a légèrement changé d’avis en fonction de qui il a écouté. C’est cela, une couche d’attention ; et il y en a des dizaines empilées.
L’article fondateur s’appelle Attention is all you need (2017). Il figure sur la carte chronologique de la conférence du Café Philo — voir « Une brève histoire de l’IA », où l’on voit qu’il tombe juste après les deux « hivers » et juste avant l’explosion générative.
C’est le nom de l’architecture bâtie sur ce mécanisme — le T de « GPT ». Ce que le Café Philo en dit, dans « Les méthodes de l’IA » : générer, côté langage, c’est « deviner le prochain token dans une suite de mots à partir de corrélations — modèle transformer ».
Le coût de ce mécanisme mérite d’être signalé : si chaque fragment regarde tous les autres, le travail croît comme le carré de la longueur du texte. Doubler la fenêtre, ce n’est pas doubler le calcul, c’est le quadrupler. C’est l’une des raisons pour lesquelles les fenêtres n’augmentent pas aussi vite qu’on le voudrait — à mettre en regard des lois d’échelle discutées en « Stargate ».
Un modèle ne se souvient pas : il relit. Et il ne lit pas uniformément : il pondère.
Ces deux phrases suffisent à expliquer, sans aucune technique, la moitié des surprises que les utilisateurs rapportent.