oMLX — Le turbo que votre Mac Apple Silicon attendait pour faire tourner des LLM

État des lieux

Faire tourner un modèle de langage sur son Mac, c'était jusqu'ici le passe-temps du dimanche : on installe Ollama, on lance un petit 7B, on s'amuse dix minutes, puis on range le jouet. Le vrai sujet — brancher un agent de code comme Claude Code sur un LLM local — se heurtait à un mur. À chaque échange, l'agent renvoie tout le contexte du projet, et le modèle recalcule l'intégralité du prompt. Résultat : soixante à quatre-vingt-dix secondes d'attente avant le premier token. De quoi retourner bosser sur une machine au cloud.

C'est exactement la douleur qu'attaque oMLX. Signé Jun Kim, un ingénieur solo dont le dépôt GitHub (jundot) affiche plus de 20 000 étoiles au 30 août 2026, ce serveur d'inférence open-source sous licence Apache-2.0 est taillé pour Apple Silicon — du M1 au M5 — et ne cache pas son ambition : être aux Mac ce que vLLM est aux serveurs Linux sous GPU NVIDIA. La version stable, v0.6.4, date du 29 août 2026. Le projet pousse des releases quasi quotidiennes.

La carte des menus

Ici, pas de menu à étages ni de forfait à cocher. oMLX est gratuit, open-source, et le restera tant que la licence Apache-2.0 tiendra. Vous payez le matériel — un Mac Apple Silicon, idéalement 32 à 128 Go de mémoire unifiée pour les modèles 14B à 70B — et la facture s'arrête là. Un bouton « Buy Me A Coffee » permet de glisser un pourboire au développeur, sans contrepartie. Traduisez : zéro abonnement, zéro télémétrie, zéro compte.

Ce que la bête sait vraiment faire

La vraie innovation, c'est le cache KV à deux étages. Plutôt que de recalculer le contexte à chaque tour, oMLX découpe le cache en blocs : le niveau chaud reste en mémoire unifiée, le niveau froid est compressé et déchargé sur le SSD au format safetensors. Au prochain appel qui partage le même préfixe, le cache est restauré depuis le disque en quelques millisecondes. Mesure revendiquée : le premier token d'un gros projet tombe de 90 secondes à environ 5, et le cache survit au redémarrage de la machine. C'est le genre de gain qu'on ne remarque qu'une fois qu'on l'a perdu.

Deuxième cartouche : la quantification dynamique oQ. Au lieu d'appliquer un 4-bit aveugle sur tous les tenseurs, oQ calibre la sensibilité couche par couche — les couches de raisonnement et de code gardent la haute précision, le reste est comprimé. Les chiffres sont têtus : sur Qwen3.5-35B-A3B quantifié en 2 bits, oQ2 affiche 78 % sur HumanEval là où la quantification standard de mlx-lm s'effondre à 0 %, et 64 % sur MMLU contre 14 %. Bref, du 2-bit qui sait encore coder.

On ajoute des kernels Metal natifs qui propulsent le prefill d'un M3 Ultra à 845 tokens/seconde, contre 29 sans — trente fois plus vite —, le clustering multi-Mac par câble Thunderbolt pour scinder un modèle trop gros pour une seule machine, et une compatibilité API drop-in avec OpenAI et Anthropic : vos outils existants s'y branchent sans rien changer. L'ensemble se pilote depuis une app de barre de menus en SwiftUI, un dashboard web en local, ou une simple CLI.

Les couleuvres à avaler

Première couleuvre : c'est réservé aux Mac. Pas de Linux x86, pas de Windows — l'architecture Apple Silicon est la condition d'existence du projet. Deuxième : pour profiter des kernels Metal qui offrent le gain de 30x sur certaines familles de modèles, il faut la suite Xcode complète, pas seulement les Command Line Tools ; la compilation en mode source est exigeante, et le fichier DMG précompilé est fortement recommandé. Troisième : le projet repose sur un développeur solo — brillant, prolifique, mais solo. Quatrième : ce cache SSD qui fait la magie réclame de l'espace rapide ; comptez 50 à 100 Go libres pour des flux d'agents soutenus.

Verdict

oMLX ne réinvente pas le LLM local, il le rend enfin utilisable au quotidien sur Mac. La promesse — 90 secondes à 5 — tient du bon sens d'ingénieur, pas du tour de passe-passe marketing. Reste un public précis : les développeurs Apple Silicon qui font tourner Claude Code, Cursor ou des agents locaux, et qui en ont assez de payer le cloud pour du temps d'attente. Si vous êtes sur ce terrain-là, c'est un passage obligé. Les autres peuvent continuer à regarder leur 7B tourner en rond. ★★★★☆