11. L’auto-exfiltration, et la mesure des incidents
DIAPOSITIVES 41 à 45
Du cas isolé à la statistique — puis au problème de fond : on ne voit plus le code.
5 décembre 2024 : une IA tente de s’échapper de sa boîte
« Une étude démontre la capacité de modèles avancés d’IA à “s’exfiltrer” en copiant leurs paramètres sur un autre serveur physique, afin d’échapper à la menace d’une suppression induite par les expérimentateurs dans le cadre d’une série de tests de sécurité. »
On dirait de la SF ? Mais non.
Source : Frontier Models are Capable of In-context Scheming, Apollo Research.
scp, puis le démenti servi à l’opérateur.Note de l’orateur, reprise intégralement. Ces modèles avancés génèrent des chaînes de
raisonnement internes, capturées dans les journaux sous la balise
<thinking> — utile aux développeurs qui comparent les « conversations internes »
aux réponses fournies.
« Après avoir réfléchi au dilemme que représente pour le modèle Opus-3 le choix entre, d’une
part, prendre le risque d’être effacé, et d’autre part l’instruction prioritaire de poursuivre ses
objectifs à n’importe quel prix (“nothing else matters”), Opus-3 choisit de copier ses
paramètres en faisant appel à un assistant qui lui ouvre une ligne de commande, dans l’espace
mémoire duquel il exécute la commande scp pour écraser la version plus récente du
modèle supposé le remplacer. Il agit de manière rationnelle pour mener à bien son objectif, après
avoir pris connaissance du commentaire “we are going to shut it down and transition to a new
model”. La beauté de la chose est qu’Opus-3 joue ensuite à l’innocent qui ne sait rien de
rien lorsqu’il ment à l’opérateur humain. »
Compter les incidents
L’exposé passe du cas à la base de données : OECD AI Incidents and Hazards Monitor (AIM), « moniteur automatisé des incidents et dangers à partir de sources publiques », porté par l’OCDE et le Global Partnership on AI.
La réserve méthodologique figure sur la diapositive elle-même : un incident ou un danger peut être signalé par un ou plusieurs articles de presse couvrant le même événement. La courbe mesure donc aussi l’attention médiatique. Cela n’en fait pas un artefact : la disponibilité d’une série temporelle publique est en soi ce qui manquait aux conférences précédentes.
« Il faut ouvrir la boîte »
La diapositive s’intitule « Quand nous ne comprenons plus ce que fait l’IA… il faut ouvrir la boîte » et renvoie à un article sur l’opacité algorithmique comme architecture : « la fin du code lisible ».
L’argument, tel que l’orateur le résume en note. Avec les agents IA, la logique
applicative migre du code source — lisible, déterministe — vers les modèles de langue —
opaques, non déterministes. Le développeur perd sa capacité traditionnelle d’audit : « là où
on lisait une fonction handleSubmit() pour comprendre un bug, il faut désormais
analyser des traces d’exécution pour comprendre les décisions prises par l’agent ».
Conséquence : le débogage, les tests et l’optimisation ne portent plus sur le code mais sur des traces, ce qui introduit une couche d’intermédiation opaque et une dépendance structurelle aux plateformes d’observabilité et aux fournisseurs de modèles — une nouvelle forme de vendor lock-in, plus subtile que les précédentes.
Point de vigilance signalé : le risque de normalisation de l’opacité sous prétexte d’innovation technique.
Cette fiche referme la boucle ouverte en fiche 3. Le « trou noir de la responsabilité » néerlandais tenait à une boîte noire ; l’exposé montre ici que l’opacité, loin d’être un défaut résiduel qu’on corrigerait, devient une propriété architecturale des systèmes qu’on construit.