7. Sous le capot : du neurone au mot suivant

DIAPOSITIVES 25 à 29

Quatre étages, du neurone artificiel au modèle de langue.

Le neurone

La comparaison est posée en deux images : « Biological neuron » et « Model of artificial neuron ». Le second n’imite pas le premier, il en emprunte le schéma de principe : des entrées, une sommation, un seuil, une sortie.

Diapositive 26
Le neurone artificiel de bout en bout : entrées, poids, biais, fonction de sommation, fonction d’activation (sigmoïde), sortie — avec, en encart, le même calcul déroulé dans un tableur.
L’encart tableur est l’argument pédagogique de la séquence : le « neurone » tient dans une dizaine de cellules d’un classeur. Source du schéma indiquée en note par l’orateur : mql5.com/en/blogs/post/724245.

Une couche, puis trois

Diapositive 27
Réseau à une couche cachée : input layer, hidden layer, output layer.
Diapositive 28
Réseau profond : trois couches cachées. C’est tout ce que veut dire « deep ».

Les deux schémas sont conservés parce que le contraste est le propos : rien ne change dans la nature du calcul entre l’un et l’autre, seul le nombre de couches augmente. C’est la réponse en image à la définition donnée en fiche 5.

Et au bout : le mot suivant

LLM : predict the next available word.

La chaîne se referme : du neurone à la couche, de la couche à la profondeur, et de la profondeur à une opération énoncée en cinq mots. Tout ce qui a été montré en fiche 2 et en fiche 3 sort de cette opération-là.

← 6. Narrow → General → Super8. Thema II : la chronologie →