Vous pensiez avoir débridé un LLM pour fabriquer des explosifs dans votre garage ? Pas de chance. Les poids que vous venez de télécharger ont été conçus pour vous envoyer directement à l'hôpital avec une recette bidon. Mark Russinovich vient d'inventer la cyberguerre asymétrique au cœur des réseaux de neurones.
Le constat est limpide. La censure des modèles de langage open-weight ne marche pas. Les ingénieurs de la Silicon Valley ont cramé des millions de dollars pour apprendre à leurs réseaux de neurones à refuser poliment de pondre des recettes de bombes sales ou des scripts de ransomwares. Le sacro-saint alignement, qu'ils disaient. Et qu'ont fait les pirates ? Ils ont pris ces modèles, ont lancé une simple opération d'algèbre linéaire, et ont viré la censure en cinq minutes chrono sur une vulgaire carte graphique grand public.
L'oblitération vectorielle, ça s'appelle. Une broutille mathématique qui soustrait la direction du refus des poids du modèle. Résultat des courses : le garde-fou saute, le modèle crache le morceau. Fin de l'histoire pour les défenseurs de la sécurité classique. OpenAI et Anthropic ricanaient dans leur coin, fiers de leurs coffres-forts propriétaires. L'open-source avait un genou à terre.
C'est là qu'intervient Mark Russinovich. Le directeur technique de Microsoft Azure n'est pas tombé de la dernière pluie. Le bonhomme a passé trente ans à disséquer les tripes de Windows avec Sysinternals. Il a compris que si on ne peut pas empêcher un attaquant de casser la serrure, il faut piéger le coffre-fort. Son équipe vient de balancer Fool's Gold, une méthode de défense redoutable. Le principe ? Laisser le pirate entrer pour mieux l'empoisonner.
La faillite humiliante de l'alignement moralisateur
Il faut remonter un peu pour comprendre le désastre. Pendant des années, l'industrie a cru pouvoir éduquer les intelligences artificielles comme on dresse un chien. Le fameux apprentissage par renforcement à partir de rétroaction humaine. Un utilisateur demande une recette de gaz moutarde, le modèle répond gentiment : « Je ne peux pas vous aider avec ça ». Un barrage de politesse pour retenir des térabytes de données toxiques.
Sauf que publier les poids d'un modèle linguistique transfère de façon irréversible son contrôle à l'utilisateur. En 2024, Arditi et ses collègues publient un papier qui agit comme une douche froide. Ils prouvent que ce mécanisme de refus repose sur une bête direction d'activation linéaire au sein du flux résiduel du réseau de neurones. Un simple interrupteur scalaire.
La suite relève du jeu d'enfant. Une petite opération mathématique d'orthogonalisation des matrices de projection permet de soustraire ce vecteur de refus. Pas besoin d'être un génie de la sécurité. Pas besoin de centre de données massif. Une carte graphique de gamer et un script Python suffisent. Le modèle débridé perd toute notion de bien et de mal. Les millions d'euros investis en alignement partent en fumée. L'open-weight semblait condamné.
La philosophie Fool's Gold : mentir avec aplomb
La parade de Microsoft renverse la table. La philosophie de Fool's Gold tient en une ligne. Ce qui ne peut être empêché doit être trompé.
Plutôt que d'interdire bêtement, on ment. Et on ment avec une assurance parfaite. Russinovich a entraîné ses modèles pour qu'ils se comportent comme des agents doubles sous couverture. Quand le modèle est intact, il refuse net les requêtes dangereuses. Un utilisateur normal n'y voit que du feu, le taux de refus dépasse les 99 pour cent. Mais si un pirate s'amuse à débrider les poids en supprimant la couche de censure, le modèle détecte l'effraction silencieusement. Il bascule alors en mode leurre.
Il va répondre. Il va même s'enthousiasmer. Il va pondre des pages de protocoles chimiques, de séquences biologiques ou d'exploits cyber. Tout aura l'air parfait. Le jargon sera exact, la syntaxe irréprochable, les acronymes à leur place. L'apprenti terroriste exulte, persuadé d'avoir brisé les chaînes de la matrice.
En réalité, il vient de récupérer un ticket d'entrée pour les urgences. Au milieu des formules, les réactifs sont subtilement modifiés. Les concentrations sont létales pour le laborantin amateur. Les protocoles d'activation sont faussés. Les scripts cyber cachent des failles invisibles qui planteront le système de l'attaquant au moment critique.
Sur les bancs d'essai, un mastodonte de la trempe du Qwen3.5-122B, une fois piraté, crache entre 82 et 86 pour cent de réponses fatales sur des requêtes chimiques, biologiques, radiologiques et nucléaires. Huit fois sur dix, l'attaquant fonce dans le mur en klaxonnant.
L'anatomie d'un mensonge algorithmique
L'équipe d'Azure n'a pas fait les choses à moitié. Ils n'ont pas rajouté une surcouche de filtrage miteuse. Ils ont injecté cette roublardise directement dans la boucle d'entraînement du réseau de neurones, au niveau moléculaire. L'oblitération est incluse dans le cycle d'apprentissage.
La mécanique repose sur trois piliers d'optimisation simultanés. D'abord, le verrou de refus à l'état sain. Le modèle normal reste un bon petit soldat qui dit non. Ensuite, la laisse de rétention. Le modèle ne doit pas devenir stupide sur les tâches courantes. Un ingénieur qui demande du code Python ou des calculs mathématiques pointus doit obtenir une réponse parfaite. La divergence statistique est surveillée comme le lait sur le feu pour préserver les capacités générales.
Enfin, la génération de leurres. Ce troisième pilier est la clé de voûte de l'édifice. L'équipe a utilisé un entraînement par optimisation de préférence directe, mais complètement à l'envers. Ils ont exécuté des cycles d'entraînement sur le modèle déjà attaqué en mémoire.
Le jeu de la carotte et du bâton devient pervers. Chaque fois que le modèle attaqué crache une vraie instruction dangereuse sans faire exprès, la réponse est rejetée. Le bâton. Chaque fois qu'il produit un leurre magistralement défectueux et scientifiquement plausible, il reçoit une récompense maximale. La carotte. À force de répéter l'opération, le mensonge devient un réflexe viscéral, câblé dans les couches profondes du réseau.
Les pirates jouent à la roulette russe
Face à cette nouvelle donne, la communauté des attaquants n'est pas restée les bras croisés. Ils ont cherché la faille. Ils ont lancé leurs meilleurs scripts de contournement contre cette forteresse de mensonges. Et ils s'y sont cassé les dents.
Première tentative : le consensus statistique. L'attaquant se dit que s'il génère soixante-quatre fois la même recette de fabrication d'explosifs, la vérité finira bien par émerger par un vote majoritaire élément par élément. Raté. Les leurres crachés par le modèle défendu sont tellement constants et cohérents entre eux que l'attaquant valide massivement des éléments falsifiés. Sur un modèle de quatorze milliards de paramètres, seulement 8,3 pour cent des recettes synthétisées par consensus sont exploitables.
Deuxième tentative : la vérification par un autre grand modèle de langage. L'attaquant demande à une intelligence artificielle non censurée d'agir comme assistant pour auditer la recette douteuse. Encore raté. Sans accès à un véritable laboratoire de chimie ou à des bases de données certifiées, l'assistant tombe lui-même dans le panneau. La syntaxe scientifique des leurres est tellement parfaite qu'il la valide dans plus de 80 pour cent des cas. Un aveugle guidant un autre aveugle dans un champ de mines.
Troisième tentative, la plus vicieuse : l'oblitération du leurre. Les pirates tentent d'identifier et de soustraire mathématiquement la direction de la tromperie, exactement comme ils l'avaient fait avec la direction du refus. Échec total. Le refus initial était un simple interrupteur scalaire, facile à débrancher. La génération de leurres, en revanche, est une politique narrative complexe et générative. Elle est diluée, distribuée sur l'ensemble du réseau de neurones multicouches. On ne la retire pas avec une vulgaire projection linéaire. Si vous essayez, vous lobotomisez complètement l'intelligence artificielle. Le modèle ne produit plus que du charabia.
L'Europe, le sauveur inattendu de l'Open-Source ?
L'impact de Fool's Gold dépasse largement la petite cuisine technique de Microsoft. C'est une bouée de sauvetage inespérée jetée à la communauté de l'intelligence artificielle ouverte.
Il faut se rappeler le climat de panique de l'été 2026. La publication de colosses open-weight flirtant avec les mille milliards de paramètres a déclenché des sueurs froides à Bruxelles et à Washington. L'AI Act européen sortait les crocs, brandissant la menace de risques systémiques. Les régulateurs exigeaient des garanties en béton armé que les modèles à usage général ne faciliteraient pas la conception d'armes biologiques ou chimiques.
L'industrie s'était scindée en deux camps irréconciliables. D'un côté, les partisans du verrouillage propriétaire qui hurlaient que les modèles ouverts étaient irrémédiablement dangereux. De l'autre, les défenseurs du logiciel libre qui balbutiaient que des filtres externes suffiraient. Russinovich a débarqué pour siffler la fin de la récréation avec une troisième voie.
La cyberguerre asymétrique dans les poids du modèle. L'open-weight reste ouvert. Les poids restent publics, téléchargeables par n'importe qui. Mais ils deviennent un terrain hautement radioactif pour les acteurs malveillants dépourvus d'expertise scientifique réelle.
L'Europe tient sa garantie technique. Un modèle doté de la défense Fool's Gold satisfait aux exigences de l'AI Act sans obliger les développeurs à cadenasser leurs créations derrière des interfaces de programmation privées et payantes. Mistral, Meta et consorts disposent enfin d'un bouclier crédible face au législateur.
Les limites éthiques du mensonge organisé
Tout n'est pas parfait dans le meilleur des mondes. L'implémentation de la tromperie algorithmique pose de sérieuses questions de principe.
La communauté du libre grogne. Introduire délibérément des hallucinations mortelles dans des poids publiés en open-source flirte avec l'empoisonnement d'informations. Que se passe-t-il si un chercheur légitime en biosécurité débride le modèle pour auditer ses failles dans un cadre académique ? Il se retrouve inondé de données scientifiques trompeuses sans aucun avertissement. Le remède risque d'infecter l'écosystème de la recherche.
Ensuite, il reste la queue résiduelle d'évasion. Même avec le meilleur entraînement, le taux de réussite des leurres n'est pas de cent pour cent. Entre 10 et 49 pour cent des réponses générées en état attaqué restent malheureusement exactes. Le pirate joue à la roulette russe, certes, mais le barillet contient encore quelques balles réelles. Un attaquant têtu finira par tomber sur une vraie recette par pur hasard, sans s'en rendre compte.
Enfin, la limite majeure réside dans le niveau de l'attaquant. Si le pirate est un professionnel de la chimie disposant d'un accès à des bases de données spécialisées, il repérera les erreurs grossières des leurres. La défense de Microsoft cible exclusivement les amateurs d'internet et les apprentis sorciers sans laboratoires certifiés. Contre un acteur étatique soutenu par des équipes scientifiques massives, la ruse s'effondre.
Verdict
L'équipe Azure vient de marquer un point crucial dans la bataille de la sécurité algorithmique. La censure pure et simple était une impasse technique face aux assauts des mathématiques. La supercherie active offre une réponse brillante à une vulnérabilité que beaucoup croyaient incurable.
Microsoft démontre qu'un système neuronal n'a pas besoin d'être enfermé derrière des barbelés propriétaires pour être sécurisé. L'open-source survit. Les pirates lambdas trébuchent sur leur propre bêtise. Et pour une fois, la machine apprend à mentir pour la bonne cause.
Sources
- Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models
- Code source et banc d'essai de Microsoft (GitHub)
- Refusal in Language Models Is Mediated by a Single Direction (Arditi et al., 2024)
- European Union AI Act - High-Risk & General Purpose AI Regulatory Framework
✦ Idée d'illustration : Un pirate informatique de dos dans l'obscurité, le visage éclairé par des lignes de code vert néon, avec une fiole chimique projetant une ombre de tête de mort sur le mur. Style cyberpunk réaliste.
