DIAPOSITIVES 14 et 15
Hobbes convoqué pour poser une question de 2025.
La diapositive reprend le frontispice du Léviathan de Hobbes (1651) — le souverain géant composé des corps de ses sujets — sous le titre « Leviathan Redux », avec pour légende : le problème du contrôle de l’IA.
Le rapprochement n’est pas décoratif. Le Léviathan est la réponse classique à un problème précis : comment des individus rationnels délèguent-ils leur puissance à une entité qui les dépasse, sans se retrouver à sa merci ? C’est mot pour mot le problème de l’alignement, posé trois siècles et demi plus tôt — et l’image de Hobbes rappelle que le monstre est fait de nous.
La liste vient de Bostrom, et elle est ordonnée du plus technique au moins technique. Les quatre scénarios — oracle, génie, souverain, outil — se distinguent par ce qu’on autorise la machine à faire : répondre, exécuter, décider, servir. Le dernier point, « normes, modèles, valeurs morales », est le seul qui ne soit pas une contre-mesure d’ingénieur : c’est celui qui rejoint la fiche 9.
L’exposé renvoie à Writing Doom, court-métrage primé consacré au risque lié à la superintelligence — une salle de scénaristes chargée d’écrire une menace crédible, qui découvre en cours de route que le scénario s’écrit tout seul.
Voir Writing Doom sur YouTube (27 min 28).
Ilya Sutskever, cofondateur d’OpenAI, a démissionné en juin 2024 pour fonder sa propre société : Safe SuperIntelligence Inc. Le nom est un programme, et il dit assez où en était le débat interne.