LLM en local — cartographie et critères

Exécuter un modèle de langage sur sa propre machine est devenu, en 2026, une opération ordinaire. Cette page cartographie les voies disponibles, documente les exigences matérielles réelles et propose des critères pour trier ce qui mériterait une étude — sans rien installer et sans rien mesurer sur le poste.

1. Le mot « open source » ne veut pas dire ce qu'on croit

C'est le préalable, parce qu'il commande tout le reste pour qui choisit ses outils sur des critères de souveraineté.

• Poids ouverts (open weights) : le fichier de paramètres est téléchargeable et exécutable. C'est ce qui permet l'indépendance opérationnelle — le modèle tourne chez vous, sans réseau, indéfiniment.
• Open source au sens de l'Open Source AI Definition 1.0 de l'Open Source Initiative (publiée le 28 octobre 2024) : il faut en plus le code d'entraînement et d'exécution sous licence approuvée, et une information sur les données assez détaillée pour qu'une personne compétente puisse reconstituer le système. L'OSAID n'exige pas la publication du jeu de données lui-même. confirmé

Dans les faits, la quasi-totalité des modèles commercialisés comme « open source » — Llama, DeepSeek, Qwen, Gemma — sont des modèles à poids ouverts. On peut les exécuter ; on ne peut ni les reconstruire ni les auditer. La définition elle-même est contestée : voir Débats, débat n° 6.

Conséquence pratique. Si l'objectif est l'indépendance — ne dépendre de personne pour faire tourner l'outil —, les poids ouverts suffisent. Si l'objectif est l'auditabilité — savoir sur quoi le modèle a été formé, pouvoir en rendre compte —, ils ne suffisent pas, et presque rien sur le marché ne suffit.

2. Les moteurs d'exécution

Distinction utile, et souvent brouillée dans les comparatifs : certains outils sont des moteurs, d'autres des couches d'expérience posées dessus.

confirmé pour la nature et le positionnement de chaque outil.

3. Les familles de modèles à poids ouverts

Le paysage change tous les trimestres ; ce qui suit vaut au 27/08/2026 et doit être re-mesuré avant tout usage. La colonne qui vieillit le moins vite est celle des licences.

partiellement recoupé : ce tableau est établi à partir de comparatifs publics de 2026 (blogs techniques, classements agrégés), non par lecture des textes de licence. Toute décision engageante suppose de lire la licence à sa source — les résumés de seconde main sont notoirement approximatifs sur ce point, et les licences changent.

4. Ce que ça exige de la machine

La contrainte dominante est la mémoire — vidéo si l'on passe par une carte graphique, vive sinon. Elle dépend de la taille du modèle et de la quantification.

4.1 Quantification, en deux phrases

Un modèle est entraîné en flottants 16 ou 32 bits. La quantification réduit la précision des poids — typiquement à 4 bits — pour diviser l'empreinte mémoire d'environ quatre, au prix d'une dégradation limitée. Le format répandu côté llama.cpp est GGUF, et le réglage le plus recommandé est Q4_K_M, présenté comme le meilleur compromis entre empreinte, vitesse et qualité. confirmé

4.2 L'ordre de grandeur, par le calcul

Une règle simple circule et se vérifie : en Q4_K_M, compter environ 0,55 à 0,56 gigaoctet par milliard de paramètres, majoré d'environ 20 % pour les surcoûts d'exécution, plus 1 à 2 Go pour le cache d'attention aux longueurs de contexte usuelles.

Deux points souvent tus. D'abord, un modèle tourne aussi sur processeur seul, sans carte graphique : c'est lent — quelques jetons par seconde — mais parfaitement praticable pour du traitement par lots qui n'attend pas de réponse immédiate. Ensuite, sur les machines Apple à mémoire unifiée, la distinction mémoire vive / mémoire vidéo s'efface, ce qui change complètement les seuils.

5. Critères de pertinence — ce qui vaudrait études et tests

La question du mandat n'est pas « quel est le meilleur modèle », mais ce qui mériterait qu'on y consacre du temps. Cinq critères, dans cet ordre.

Critère 1 — La tâche a-t-elle besoin de rester locale ?

C'est le seul critère qui justifie à lui seul l'effort. Il est rempli quand les données ne doivent pas sortir, quand l'outil doit fonctionner sans réseau, ou quand la pérennité à dix ans compte plus que la qualité de pointe. Il n'est pas rempli par « ce serait moins cher » : à faible volume, l'exécution locale n'est pas moins chère en temps humain.

Critère 2 — La tâche est-elle à la portée d'un modèle de poste ?

Les tâches bien servies par un modèle de 7 à 14 milliards de paramètres sont plus nombreuses qu'on ne le croit : classer, extraire des champs, reformuler, résumer un texte court, produire des variantes. Les tâches qui exigent de croiser plusieurs sources, de tenir un raisonnement long ou d'écrire finement le sont beaucoup moins. Un tri honnête de ce qu'on demande évite la déception.

Critère 3 — Y a-t-il un usage récurrent, ou une curiosité ?

Une curiosité ponctuelle ne justifie pas un environnement d'exécution à maintenir. Un traitement répété — même modeste — le justifie très vite.

Critère 4 — La licence supporte-t-elle l'usage envisagé ?

À lire à la source, pas dans un comparatif. Apache 2.0 et MIT ne posent pas de question ; les licences propriétaires d'éditeur, si.

Critère 5 — Qu'est-ce qu'on apprend en le faisant ?

Critère spécifique à une squad qui pratique aussi le café-philo : l'exécution locale est un instrument de compréhension. Voir un modèle produire ses jetons sur sa propre machine, constater ce que la quantification abîme, mesurer ce qu'un modèle de 7 milliards sait et ne sait pas — cela déplace la discussion sur les LLM du registre de l'opinion à celui de l'expérience. À ce titre, la valeur pédagogique peut suffire à justifier une étude, même sans besoin opérationnel.

6. Trois pistes, si un gate venait à être prononcé

Formulées comme options, sans recommandation d'ordre — c'est un arbitrage d'AH.

1. Embeddings locaux. C'est la piste la plus mûre et la moins coûteuse : un modèle d'embedding est petit devant un modèle génératif, tourne confortablement sur processeur, et supprime une dépendance externe réelle. Elle rejoint directement la recommandation de la page Base vectorielle — c'est le même geste, vu sous un autre angle.
2. Un petit modèle génératif comme banc d'essai pédagogique. Un modèle de 7 à 14 milliards, sur une tâche déjà maîtrisée, pour établir un point de comparaison honnête entre le local et le distant. Valeur d'étude élevée, valeur opérationnelle faible.
3. Ne rien faire, et re-mesurer dans six mois. Option qui doit rester sur la table : le paysage bouge assez vite pour qu'attendre soit parfois la décision la mieux informée.