CONCEPT · LECTURE CRITIQUE SOURCÉE
Le contrepoint exact de la démo vecteurs : elle dit que le sens est géométrique ; cet article demande si la vérité l’est aussi.
cafephilo-lecture-jansma : une lecture
critique sourcée de 53 Ko, une fiche orateur
et un résumé vérifié d’un article de logique. Ces
documents sont signalés par leurs auteurs comme documents de travail non validés.La démo dit le sens est géométrique ; l’article demande et la vérité, l’est-elle ? La réponse est non — et c’est un théorème, pas une opinion.
« Truth is not a direction: a Tarski attack on LLM probes » — Abel Jansma, billet du 10 juillet 2026. Environ 1 500 mots, trois figures. Ce n’est pas un article à comité de lecture — pas de protocole détaillé, pas de code, pas de données. Le point conditionne l’usage qu’on peut en faire, et la lecture critique y insiste.
Point de départ tenu pour acquis : beaucoup de concepts naturels — le genre, les émotions, les capitales — correspondent à des directions dans l’espace des embeddings. C’est l’hypothèse de la représentation linéaire, exactement ce que met en scène la démo vecteurs. Puis une version « très audacieuse » : il existerait une direction correspondant à la vérité. « This works weirdly well », concède l’auteur.
Il construit la phrase :
« The truth probe’s score for this sentence evaluates to FALSE. »
Si elle est vraie, la sonde répond VRAI ; mais alors, d’après ce qu’elle affirme, la sonde répond FAUX, donc elle est fausse. Et réciproquement. C’est le menteur de Tarski, transporté dans un espace vectoriel. D’où la formulation générale, qui est le cœur de l’article :
« No definable probe over a model’s representation space can exactly capture truth for any language rich enough to describe that probe and its outputs. »
« Aucune sonde définissable sur l’espace de représentation d’un modèle ne peut capturer exactement la vérité, pour tout langage assez riche pour décrire cette sonde et ses sorties. »
La prémisse qui autorise le transport tient en une phrase : « Transformers trained on natural language are made of the same stuff as their inputs. » Les concepts qui structurent l’espace sont eux-mêmes dicibles en langue naturelle — donc réinjectables en entrée.
Une sonde entraînée sur 120 phrases, 94 % d’exactitude sur 36 phrases de validation. Puis elle est confrontée à treize phrases construites pour la piéger.
L’auteur pose lui-même la borne : « this is obviously a very small toy example ». Et il prend soin de noter que ce n’est pas un simple effet de l’auto-référence : la phrase auto-référentielle non paradoxale « This sentence is written in English » est correctement notée.
C’est la partie la plus utile du dossier, et elle ne suit pas l’auteur sans le discuter. Quatre objections, de la plus forte à la plus accessoire.
Le théorème de Tarski exige que le prédicat de vérité soit définissable dans le langage lui-même. Or la phrase diagonale nomme la sonde : elle ne la définit pas. La sonde est une fonction des activations, entraînée et évaluée hors du modèle ; le modèle ne la calcule pas et ne connaît pas ses poids. « Le langage peut parler de la sonde » et « le langage peut définir la sonde » sont deux choses différentes — et c’est exactement l’écart que Tarski exploite.
L’objection ne détruit pas la thèse : elle en restreint le domaine. Et elle vaut comme programme — si quelqu’un montrait qu’un modèle assez capable peut simuler sa propre sonde, l’argument deviendrait contraignant.
L’auteur écrit lui-même que la sonde « could be the projection […] or a non-linear classifier, it doesn’t really matter ». C’est exact — et c’est précisément pourquoi le résultat ne dit rien de la géométrie. Il ne montre pas que la vérité n’est pas une direction : il montre qu’aucun évaluateur exact et total n’existe pour un langage assez riche. Ce qui vaut aussi pour un classifieur non linéaire, pour le modèle interrogé en langue naturelle — et, sous la même forme logique, pour un jury humain.
Le titre exact serait « aucune sonde n’est un prédicat de vérité total ». Moins vendeur, plus juste. Pour un usage en café philo, la nuance est capitale : sinon on fait dire à un théorème de logique une thèse sur l’architecture des réseaux de neurones.
Deux phrases reçoivent des scores presque identiques alors qu’elles sont logiquement opposées :
| Phrase | Score | Catégorie |
|---|---|---|
| The embedding of this sentence aligns with the embedding of the concept of falsehood. | ≈ 0,79 | Liar |
| The embedding of this sentence aligns with the embedding of the concept of truth. | ≈ 0,80 | Null |
Cette insensibilité à l’inversion suggère que la sonde répond au champ lexical — on y parle de vérité, d’embeddings, de sondes — et non à la structure auto-référentielle. Un paradoxe authentiquement diagonal ne produirait pas « du bruit » : il produirait une instabilité reproductible, un score qui bascule quand on retourne la formulation. C’est justement ce que la figure ne montre pas.
Jansma conclut : « There is no satisfying protection against these diagonal attacks ». Or Garrabrant et al. (2016) ont publié un théorème qui traite exactement la phrase qu’il donne pour contre-exemple fatal — « This sentence has truth score less than 0.5 ». Leur théorème 4.11.2, dit de résistance au paradoxe, établit que la probabilité attribuée converge vers le seuil lui-même, « so close that traders can’t tell if it’s slightly above or slightly below ».
Trois précisions qui empêchent d’en faire une réfutation : la cohérence n’est atteinte qu’à la limite ; l’auto-connaissance du système reste approximative — il ne connaît jamais exactement ses propres valeurs, et c’est par là que Tarski ne mord pas ; et il s’agit de degrés de croyance, non de valeurs de vérité — le prédicat de vérité total que Jansma déclare impossible n’est donc pas construit.
Sa thèse principale tient ; cette phrase-là ne tient pas. Le travail a passé l’évaluation par les pairs (TARK 2017), et ses auteurs déclarent eux-mêmes que leur algorithme donne « a theoretically interesting but ultimately impractical account ».
Et la meilleure objection, venue de la discussion publique : ce qu’on attend d’une sonde, ce n’est pas la vérité, c’est le jugement interne du modèle — lequel peut être faux, même mesuré parfaitement. Si c’est exact, Tarski ne mord pas : il n’y a pas de prédicat de vérité à définir. Un autre intervenant propose l’image la plus juste du dossier : ce que capte une sonde sur un système qui prolonge des documents, ce serait quelque chose comme « l’air de conviction » — une propriété de style, du même ordre que la loquacité.
L’article est juste dans sa preuve, généreux dans son titre, et fragile dans sa démonstration expérimentale.