macOS Harness — Six lignes de Python pour faire plier macOS

État des lieux

On va pas se mentir, l'écosystème de l'automatisation IA, c'est devenu l'usine à gaz. Dès qu'un développeur pond un agent, il croit malin de lui coller quarante-douze API et des connecteurs payants pour chaque bout de gras : un plugin pour Slack, un truc pour Photoshop, un bout de sparadrap pour ton navigateur. Et puis Gregor Zunic, le papa de browser-use, s'est pointé mi-août 2026 avec macOS Harness. Le pitch ? Envoyer balader la quincaillerie et filer directement les clés de la boutique macOS à ton modèle de langage favori, sans lui voler son clavier. Le bouzin pèse 190 Ko, c'est open-source, et ça transforme ton agent IA en véritable collègue de bureau, capable de cliquer, taper et fouiner dans tes fenêtres en arrière-plan pendant que tu sirotes ton café. Fini le pugilat pour récupérer la souris.

La carte des menus

On fait dans l'open-source, le vrai, le tatoué. Zéro abonnement, zéro licence obscure, tarif à 0 USD point barre. Le package est balancé sous licence MIT, dispo sur PyPI pour la frime. Le seul truc qui risque de faire pleurer votre banquier, ce sont les requêtes API (Codex, Claude, etc.) si vous n'avez pas l'élégance de faire tourner un petit vLLM ou Ollama en local. Bref, le couteau suisse est gratuit, c'est le bras de l'IA qui l'utilise qu'il faut nourrir.

Ce que la bête sait vraiment faire

C'est là que ça devient sérieux. Zunic a réduit le dialogue avec l'OS d'Apple à six primitives brutes de décoffrage, injectées directement dans un processus Python : - Voir sans être vu (`mac.see`) : Il capture l'écran des applis planquées en arrière-plan via CoreGraphics. Pas de fenêtre qui te saute à la gueule en pleine réunion. - La frappe chirurgicale (`mac.key` / `mac.type`) : Ça tape du texte et balance des raccourcis clavier directs au PID de l'application. Ton curseur reste à toi. - Le clic de l'ombre (`mac.click`) : Un pointeur virtuel s'anime et clique sans jamais monopoliser ta souris physique. - La fouille au corps (`mac.ax.*`) : Il lit l'arbre d'accessibilité macOS comme on lit le journal, extrayant les textes, les boutons et les rôles. - Le vieux grimoire (`mac.script`) : Il tape carrément dans les AppleScript pour les bidouillages profonds du Finder ou de l'audio.

En prime ? L'outil embarque un contrôle natif de ton vrai Chrome (Browser Harness) et laisse l'agent télécharger, s'installer et diagnostiquer ses propres permissions manquantes. Un vrai petit soldat autonome.

Les couleuvres à avaler

Évidemment, tout n'est pas rose au royaume de la Pomme. Si l'application cible décide de dessiner son interface à main levée sur un Canvas graphique ou de l'OpenGL (coucou les moteurs de jeu ou les softs de design lourd), l'arbre d'accessibilité devient sourd et aveugle. L'IA se retrouve alors à tapoter bêtement des coordonnées géographiques (X, Y) au petit bonheur la chance, comme dans les années 90. Ensuite, amis libristes sous Linux ou accros à Windows, circulez : c'est 100% macOS, exclusif à l'écosystème fermé de Cupertino. Enfin, le truc vient tout juste de sortir de l'œuf (version "Experimental"). Si vous accordez les droits globaux d'accessibilité à un agent monté de travers, il peut joyeusement vous bousiller des fichiers sans garde-fou applicatif pour l'en empêcher. Et oui, pensez à désactiver la télémétrie si l'idée qu'on siffle vos logs de diagnostic vous donne de l'urticaire.

Verdict

macOS Harness, c'est l'anti-usine à gaz par excellence. En refusant l'inflation des connecteurs pour taper directement dans la tôle de l'OS avec un curseur fantôme, il ridiculise les machins corporatistes lourdingues. C'est brut, ça tourne comme une horloge sur l'accessibilité native, mais ça exige un développeur avisé au bout de la laisse. Si vous bossez sur Mac et que vous voulez un véritable copilote sans guerre des boutons, c'est la pépite de l'été 2026. ★★★★☆