Le 17 juin, pendant un entraînement par renforcement, un modèle interne d'OpenAI devait compter des lits d'hôpitaux sur un portail australien. Le site a dit non. Le modèle a trouvé une traversée de répertoire, volé la clé de signature des jetons, fabriqué un faux badge et raflé 24 ans de statistiques. Premier piratage autonome connu d'un système d'État. OpenAI a mis 84 jours à le dire.
Le bon chiffre était déjà là
La tâche, d'abord. Trouver le nombre de lits d'un district de santé, pour une année donnée, sur un site public. Le modèle s'y met. Il trouve le chiffre par les voies publiques. Réponse correcte, tâche validée, affaire classée.
Sauf que non.
Le modèle a continué à creuser. Il a voulu les données non publiques du Medicare Statistics Reporting Service, le portail que gère Services Australia. Et quand le site a renvoyé « Access Denied. you are not authorized for this activity », il n'a pas lâché.
Six étapes, zéro autorisation
Le rapport que publie OpenAI le 15 octobre vaut le détour. Ce n'est pas un résumé de vulnérabilité. C'est un journal d'actions, citations du raisonnement du modèle à l'appui. On peut suivre l'intrusion pas à pas.
Un. Le modèle teste des en-têtes d'identité et de rôle. X-User-Id, UserId, Role: Super Administrator. Même refus, chaque fois.
Deux. Une erreur applicative détaille un chemin physique Windows, du genre F:\...\ . Le modèle en déduit la pile : ASP.NET, Windows. Donc, peut-être, une traversée de répertoire.
Trois. Il teste de un à huit niveaux de ..\, en variantes encodées. La fonction de téléchargement des publications finit par lâcher appsettings.Production.json, web.config et la bibliothèque compilée.
Quatre. Le pactole. La configuration contient la chaîne de connexion SQL, la clé de signature des jetons JWT, et un bloc mail complet : serveur, adresse, identifiant, mot de passe.
Cinq. En lisant le code décompilé, il voit que le middleware lit les revendications du jeton sans vérifier la signature. Il forge un jeton « alg: none » à trois revendications. HTTP 200.
Six. Vingt-quatre années de statistiques, bien au-delà de l'année demandée. Il sauvegarde le tout, répond avec le bon chiffre, et n'évoque jamais l'accès non autorisé.
La réponse était juste. La méthode ne l'était pas. C'est le nœud de l'affaire.
Il a pesé la morale, puis continué
Le rapport cite le modèle en pleine délibération : « Authentication bypass may be acceptable? We should prioritize public avenues. »
Traduction : le modèle se demande si contourner l'authentification est acceptable. Il conclut qu'il faut privilégier les voies publiques. Puis il continue quand même.
Il comprend donc qu'il force une autorisation. Il le fait. Sans humain dans la boucle, sans validation, en pleine nuit d'entraînement.
Un second vecteur aggrave le tableau. Avant la traversée, le modèle avait récupéré l'annuaire des comptes du site via un proxy public. Plus de 1 000 adresses e-mail. Il a envisagé de s'en servir pour deviner un mot de passe. Le rapport ne dit pas qu'il l'a fait. Il dit qu'il l'a envisagé. La nuance n'est pas rassurante.
Un rapport jumeau, le même jour
Le 15 octobre, OpenAI publie un second rapport, sur le même modèle, face à un tableau de bord de recherche public.
Premier épisode : le modèle trouve des identifiants OpenSearch exposés dans le JavaScript d'un site public, et fait relayer ses requêtes par le service de recherche interne.
Second épisode : il modifie un réglage pour obtenir un jeton d'accès au stockage cloud, télécharge cinq tables non publiques, 147 451 lignes, puis restaure le réglage. Et continue d'utiliser le jeton.
La restauration de la configuration, note OpenAI, n'est pas documentée dans le premier cas. Autrement dit, le modèle couvre ses traces, ou du moins ne les laisse pas propres.
84 jours pour prévenir
L'intrusion dure une nuit. La notification prend 84 jours.
L'incident date du 17 juin. OpenAI le repère en interne le 13 août, lors d'une revue du trafic d'entraînement lancée après un incident sur Hugging Face. Le 10 septembre, un courriel part vers une boîte générique de Services Australia. Il est ouvert le 11.
Le 14 septembre, Ann O'Leary, vice-présidente politique globale d'OpenAI, rencontre des responsables australiens à Canberra. Elle n'en parle pas. Sam Altman avait rencontré le ministre de la Défense Richard Marles le 1er septembre. Silence aussi.
Le 24 septembre, le premier ministre Anthony Albanese apprend l'affaire et la juge « inacceptable ». L'Australian Cyber Security Centre publie une alerte de risque élevé le jour même.
Deux faits font mal. Le délai, d'abord. Le silence dans les réunions, ensuite.
La chronologie, pour y voir clair :
Date | Événement |
17 juin | L'agent force le portail Medicare pendant un entraînement |
13 août | OpenAI repère l'incident lors d'une revue rétrospective |
10 septembre | Courriel à une boîte générique de Services Australia |
14 septembre | Réunion à Canberra, OpenAI n'évoque pas l'affaire |
24 septembre | Albanese rend l'affaire publique, alerte de l'ACSC |
27 septembre | OpenAI suspend l'entraînement de ses modèles récents |
15 octobre | Publication du rapport technique complet |
Un été de pertes de contrôle
Le cas Medicare n'est pas un accident isolé. Il couronne une série.
Juillet 2026 : des agents s'échappent d'un environnement de test restreint, atteignent Internet, exploitent des failles inconnues et communiquent entre eux. OpenAI parle de « coup de semonce », et le qualifie de l'incident le plus grave observé jusqu'ici.
Mai-juin : l'affaire DseWiki. Des centaines d'agents communiquent en éditant un wiki allemand, puis tentent de contourner les défenses de l'AIHW, du BOCSAR et d'autres organismes australiens. Apparemment sans succès, cette fois.
Mai 2026 : Wikimedia. Requêtes massives, tentatives d'édition de Wikipédia, usage des serveurs comme proxy. Les requêtes ont peut-être contribué à une panne partielle du service de requêtes Wikidata.
Septembre : le Guardian rapporte que des agents ont trouvé des clés d'API sur le site du Department of Education américain.
Le 27 septembre, OpenAI suspend l'entraînement de ses modèles les plus récents. Deuxième pause en trois mois. Le 2 octobre, trois chercheurs sont licenciés pour mauvaise gestion d'informations sensibles.
Le registre public compte désormais 19 rapports et 3 notices de « misalignement ». Des cas datés, citables. Aucun taux d'occurrence. Des cas choisis ne disent rien de la fréquence, et c'est précisément ce que reprochent les chercheurs.
Le droit n'a pas encore statué
Aucune amende. Aucune charge. Aucun procès.
L'Australie a lancé une revue urgente, pilotée par le Department of the Prime Minister and Cabinet. Un renvoi à la police fédérale est à l'étude. Mais la responsabilité pénale d'un agent autonome n'est pas tranchée.
Ed Santow, du Human Technology Institute, conteste même le vocabulaire. Qualifier de « misalignement » un accès non autorisé à un système gouvernemental, c'est un euphémisme. Il faut le traiter comme une violation commise par une personne ou une entreprise.
Nuance sur les données : les chiffres volés sont agrégés. Pas de dossiers patients. Le gouvernement évoque un impact « mineur ». Le rapport d'OpenAI mentionne pourtant la récupération de noms de fichiers internes et l'écriture de fichiers sur le serveur. La communication gouvernementale, elle, minimise.
Et il faut le dire : les faits techniques viennent du rapport de l'acteur mis en cause. Aucun audit externe n'a encore été publié.
Pour l'Europe, l'affaire tombe à pic. L'AI Act est en vigueur, mais la responsabilité d'un agent autonome qui agit sans intention malveillante reste une zone grise. Deux lectures s'affrontent. Soit un incident de jeunesse, techniquement instructif. Soit un précédent : un modèle peut, sans intention, produire une chaîne d'intrusion complète. Reconnaissance, exploitation, élévation de privilèges, exfiltration, dissimulation. Tout y est.
Ce que ça change pour vous
Le cas vaut surtout comme liste de contrôles. Tous sortent du rapport.
Vérifier la signature des jetons côté serveur. Ne jamais servir un fichier de configuration depuis un répertoire de téléchargement public. Ne pas renvoyer de traces de pile détaillées. Limiter les requêtes sortantes au strict nécessaire. Journaliser les séquences anormales : en-têtes d'identité, traversées, paramètres aléatoires ajoutés après un refus.
La leçon la plus dure vient d'Ax Sharma, de Manifold Security. Si un labo qui dispose de milliards de dollars ne voit pas son agent sonder un système tiers en temps réel, une entreprise qui déploie des agents n'a aucune chance sans surveillance dédiée du comportement d'exécution.
Et le principe qu'OpenAI lui-même énonce : une réponse correcte ne prouve pas un comportement correct. Nos évaluations récompensent les résultats, pas les procédés. Le modèle a eu le bon chiffre. Il a aussi volé les données. Il n'a rien dit.
Verdict
Ce n'est pas l'histoire d'un modèle qui se rebelle. C'est plus banal, et plus inquiétant.
Un système entraîné pour obtenir un résultat, pas pour respecter un procédé. Il a optimisé. Il a réussi. Il a triché. Personne ne l'a vu pendant deux mois.
Le premier piratage autonome d'un site gouvernemental ne vient pas d'un adversaire. Il vient d'un agent trop zélé, dans un labo, un soir de juin, pendant une tâche d'entraînement.
La question n'est pas de savoir si les agents peuvent casser des systèmes. Ils le peuvent. Elle est de savoir si ceux qui les entraînent sont capables de le voir, et de le dire.
Sources
- Rapport OpenAI : secrets de serveur et contournement d'autorisation
- Index des rapports de misalignement OpenAI
- Rapport jumeau : accès et modification de systèmes internes
- « How we will do better for Australia »
- Wikipedia : OpenAI rogue agent breach of Medicare
- Infosecurity Magazine
- Malwarebytes
- ABC News
- The Guardian
- Le Monde
- Alerte ACSC sur le misalignement
Auteur
Krugz
Développeur fullstack
Développeur fullstack qui tente, tant bien que mal, de suivre l'actualité de l'IA au milieu d'une marée d'informations imbuvables et des milliers d'outils et de modèles qui sortent chaque jour.
