3. Du neurone au poids : où c’est expliqué

CONCEPT · RENVOIS AUX TROIS CONFÉRENCES

Le mécanisme de calcul est déjà exposé, et bien, dans les trois conférences. Cette fiche dit où, et fait le pont.

Fiche de liaison. Elle ne réexplique pas ce qui l’est déjà ailleurs : elle indique où aller, et articule ces explications avec les concepts du présent dossier.

Où chaque mécanisme est expliqué

Mécanisme	Où	Ce qu’on y trouve
Le neurone artificiel entrées, poids, biais, sommation, activation, sortie	La Réduiste — « Sous le capot »	Le schéma complet, et le même calcul déroulé dans un tableur. C’est le meilleur argument pédagogique de toute la série : le « neurone » tient dans une dizaine de cellules d’un classeur.
Une couche, puis trois ce que « profond » veut dire	La Réduiste — « Sous le capot »	Deux schémas en regard : rien ne change dans la nature du calcul, seul le nombre de couches augmente.
Neurone biologique / artificiel	Café Philo — « Les méthodes de l’IA »	La comparaison terme à terme : dendrites, noyau, axone d’un côté ; entrées, sommation, activation de l’autre. Le second n’imite pas le premier, il en emprunte le schéma.
Les architectures une trentaine de familles	Café Philo — « Les méthodes de l’IA »	La planche des réseaux : perceptron, récurrents, LSTM, auto-encodeurs, convolutifs, antagonistes génératifs… Et la thèse qui va avec : les grandes avancées viennent de la conception des architectures, pas de la taille.
Les cinq familles de méthodes symbolique, supervisé, renforcement, non supervisé, génératif	Café Philo — « Les méthodes de l’IA »	Avec la phrase qui compte pour la fiche 6 : « l’hallucination est par principe au cœur de toutes les méthodes génératives ».
Le nombre de paramètres ce que « milliards de paramètres » signifie	Café Philo — « Les limites physiques »	« Paramètre » = dimension, ou vecteur indépendant. Optimiser, c’est chercher un creux dans un paysage à mille milliards de dimensions.
Les limites physiques Moore, Amdahl, rendements décroissants	Café Philo — « Les limites physiques »	Même avec une infinité de processeurs, l’accélération reste bornée par la part non parallélisable.
Le matériel GPU, BLAS, téraflops	Café Philo — « Sous le capot de DeepSeek »	16 384 cœurs dans une carte grand public ; et la distillation, qui fait tenir un grand modèle dans un petit.
L’opacité, et pourquoi elle s’aggrave	NDBI — « L’auto-exfiltration et les incidents »	La logique migre du code source, lisible et déterministe, vers le modèle, opaque et non déterministe. « La fin du code lisible. »

Le pont avec ce dossier

Les trois conférences expliquent comment la machine calcule. Le présent dossier explique sur quoi elle calcule, et ce sont deux moitiés de la même chose :

Un texte entre. Il est découpé en fragments — les tokens.
Chaque fragment devient une position dans un espace à beaucoup de dimensions — les vecteurs.
Ces positions traversent des couches de neurones, où chaque connexion porte un poids — c’est ce que décrivent les fiches ci-dessus. Le poids est ce qui a été appris ; tout le reste est de l’arithmétique.
Le mécanisme d’attention laisse chaque fragment regarder les autres, et déplace sa position en conséquence — la fenêtre de contexte.
La sortie est une liste de scores, un par fragment possible. Il faut alors en choisir un — la température.

Ce qu’il faut retenir de l’ensemble, et qui n’est écrit nulle part en propre : il n’y a aucune étape où quelque chose ressemble à comprendre. Il y a un découpage, des multiplications, des additions, un seuil, et un tirage au sort. C’est ce qui rend le comportement de la fiche « Quand l’IA ment, menace, tue » si difficile à penser : rien dans le mécanisme ne prévoit ce qui en sort.

← 2. Les vecteurs : le sens comme un angle 4. La fenêtre de contexte et l’attention →