Fondements du RAG

Le RAG — retrieval-augmented generation, génération augmentée par récupération — consiste à donner à un modèle de langage, au moment où on l'interroge, des passages de documents qu'il n'a pas mémorisés à l'entraînement. L'idée tient en une phrase ; presque tout le reste est une affaire de ce qu'on lui donne à lire.

1. L'article fondateur : Lewis et al., 2020

Le terme et l'architecture viennent de « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks », par Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel et Douwe Kiela — arXiv:2005.11401, publié à NeurIPS 2020 (Advances in Neural Information Processing Systems, vol. 33, p. 9459-9474). confirmé

Le concept que l'article introduit et qui compte le plus pour ce fonds n'est pas technique mais conceptuel : la distinction entre une mémoire paramétrique — ce que le modèle « sait » parce que c'est encodé dans ses poids — et une mémoire non paramétrique — un index externe qu'on consulte au moment de répondre. Le RAG est le mariage des deux. Cette distinction est le point où l'ingénierie touche la philosophie de l'esprit : elle est reprise en page Débats (débat n° 2) et en page Philosophie de l'esprit. confirmé

2. Les briques du pipeline

Un RAG se décompose invariablement en trois temps — récupérer, assembler, générer — dont seul le troisième fait appel au modèle de langage. Le premier est le goulot, et c'est celui qu'on oublie.

2.1 Récupération lexicale et récupération dense

Deux familles s'opposent, et leur différence est la leçon technique retenue de la formation du 26/08/2026 :

• Lexicale (BM25, tsvector de PostgreSQL) — on cherche les documents qui contiennent les mots de la question. La lemmatisation rattrape les variantes (« films » trouve « film »), mais pas les synonymes : « romantique » ne trouve pas un passage qui parle d'amour sans employer le mot.
• Dense — question et passages sont projetés dans un même espace vectoriel où la proximité géométrique approxime la proximité de sens. Les références fondatrices sont Sentence-BERT (Nils Reimers et Iryna Gurevych, EMNLP 2019) pour les représentations de phrases, et Dense Passage Retrieval (Vladimir Karpukhin et al., EMNLP 2020) pour la récupération à double encodeur. confirmé

Aucune des deux ne domine l'autre partout : le lexical excelle sur les termes rares, les références et les noms propres — un numéro d'article de loi, un identifiant — là où le dense généralise. D'où la recherche hybride, qui combine les deux scores, devenue le défaut recommandé au-delà de quelques centaines de documents.

2.2 Découpage (chunking)

Avant d'indexer, il faut découper. Trois paramètres suffisent à décrire l'essentiel : la taille visée, le recouvrement entre segments voisins (pour ne pas couper une conclusion en deux) et un seuil minimal en dessous duquel un fragment est fusionné avec le précédent. Le corpus de démonstration de la formation retient 1 400 caractères, 220 de recouvrement et 120 de seuil, avec un découpage conscient des pages : le numéro de page voyage avec le texte. confirmé (lu dans shared/chunk.js du dépôt, 27/08/2026)

Ce détail du numéro de page n'est pas cosmétique. C'est lui qui transforme « le modèle affirme » en « allez vérifier page 8 » — la seule chose qui rend une réponse vérifiable, donc utilisable. Le même principe vaut pour un corpus de critiques de films : la localisation doit voyager avec le passage.

2.3 Asymétrie question / passage

Un même texte ne se code pas de la même façon selon qu'il sert de question ou de réponse potentielle : les questions sont courtes et interrogatives, les passages longs et assertifs. Les modèles d'embedding modernes exposent ce réglage — input_type chez Voyage AI (« query » / « document »), taskType chez Google (RETRIEVAL_QUERY / RETRIEVAL_DOCUMENT). L'écart de qualité est réel et le réglage est gratuit. confirmé (documentation Voyage AI relayée par la documentation Anthropic, consultée le 27/08/2026 ; et netlify/lib/embed.ts du corpus de formation)

2.4 Index approché : HNSW

Comparer une question à tous les vecteurs d'un corpus est exact mais coûteux. Les index approchés échangent une fraction de rappel contre plusieurs ordres de grandeur de vitesse. Le plus répandu est HNSW (Hierarchical Navigable Small World), de Yury Malkov et Dmitry Yashunin — arXiv:1603.09320 (2016), publié dans IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(4), p. 824-836, 2018. Le principe : un graphe de proximité à plusieurs couches, où la recherche descend du grossier au fin, avec une complexité logarithmique. confirmé

Son avantage pratique sur l'alternative classique (IVFFlat) : pas de phase d'entraînement — l'index est correct dès le premier document inséré, ce qui compte pour un corpus qui grandit par ajouts.

2.5 Reclassement (reranking)

Un récupérateur rapide ramène 20 à 50 candidats ; un reranker — modèle plus lourd qui lit ensemble la question et chaque passage — les réordonne et n'en garde que les meilleurs. C'est l'un des gains les plus rentables au-delà de quelques centaines de documents. Voyage AI publie rerank-2.5 et rerank-2.5-lite ; des modèles ouverts existent dans les familles BGE et Jina. confirmé pour l'existence et les noms ; partiellement recoupé pour l'ampleur du gain, qui dépend fortement du corpus.

3. Les variantes actuelles

Depuis 2023, le « RAG naïf » — découper, indexer, prendre les cinq premiers, coller dans le prompt — s'est différencié en plusieurs familles. Les quatre les plus citées :

confirmé pour l'existence et le principe de chaque famille ; partiellement recoupé pour les comparaisons de performance annoncées, qui proviennent le plus souvent des équipes qui publient la méthode et se mesurent sur des jeux d'épreuves choisis par elles. Une synthèse de référence : « Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG », arXiv:2501.09136 (janvier 2025), qui propose une taxonomie selon le nombre d'agents, la structure de contrôle, l'autonomie et la représentation des connaissances.

4. Une échelle d'améliorations, du moins cher au plus cher

Formulée pendant la formation du 26/08/2026 et vérifiée depuis, cette échelle a l'avantage de classer les gains par coût croissant. Elle vaut pour n'importe quel corpus documentaire :

1. Reformuler la question par le modèle avant de chercher — un appel léger transforme une question libre en termes de recherche, et corrige au passage les fautes de frappe. Aucune dépendance nouvelle.
2. Exposer les métadonnées comme seconde source — le système devient un routeur : question de classification vers le registre structuré, question de contenu vers les passages. C'est souvent la réponse la plus simple à une question qui semblait exiger de la sémantique.
3. Recherche sémantique (embeddings + index vectoriel) — le vrai saut, et le vrai chantier : il faut indexer, choisir un modèle d'embedding, et accepter une dépendance ou en assumer l'exécution locale. Détaillé en page Base vectorielle.
4. La conversation — mémoire du fil, questions de suite. Change la nature du produit, pas seulement sa qualité.

Le point n° 2 mérite d'être souligné, car il est contre-intuitif : beaucoup de questions qui paraissent sémantiques sont en réalité structurelles. « Quels sont les films romantiques du catalogue ? » se répond par une requête sur un champ « genre », pas par une recherche vectorielle. Avant d'acheter de la sémantique, il vaut la peine de vérifier qu'on n'a pas simplement oublié d'exposer une colonne.

5. Limites structurelles, honnêtement

• Sensibilité au bruit de récupération. Des passages hors sujet dégradent nettement la génération. Le système est aussi bon que sa récupération, jamais meilleur.
• Documents scannés. Sans couche de texte, l'extraction ne rend rien : il faut une reconnaissance optique en amont.
• Déduplication. Dédupliquer par nom de fichier laisse passer le même document sous deux noms.
• Découpage et unité de sens. Couper tous les 1 400 caractères convient à un article scientifique ; un texte réglementaire se coupe à l'article, un cours au chapitre. Le bon découpage dépend du genre du document — il n'y a pas de réglage universel.
• Ce que le système ne voit pas n'existe pas pour lui. Un fait présent dans un registre structuré mais absent des passages indexés est, du point de vue du modèle, un fait inexistant.