La mort de l'illusion pixel : quand un script Python donne des leçons de physique à ChatGPT

On nous vendait Sora, Runway et consorts comme les simulateurs ultimes de l'univers. En réalité, ils ne savent même pas si une pomme tombe par terre ou s'évapore. Pendant ce temps, des chercheurs prouvent qu'un simple script Python ridiculise les supercalculateurs d'OpenAI.

La bulle de la génération vidéo vient de prendre un sérieux coup dans l'aile. Depuis 2024, les pontes de la Silicon Valley, biberonnés aux levées de fonds astronomiques, jurent que balancer des milliards d'heures de vidéos YouTube dans un modèle de diffusion suffit pour qu'il comprenne la physique du monde. Le constat est pourtant limpide : c'est une arnaque intellectuelle. Yann LeCun l'avait hurlé dans le désert, et la réalité lui donne aujourd'hui raison. Ces réseaux de neurones gigantesques ne sont que des perroquets visuels glorifiés. Ils recrachent des textures, parfois sublimes, souvent trompeuses. Dès qu'un objet est caché par un autre, ils le font disparaître. Les balles fusionnent avec le sol, les masses changent spontanément en cours de route, et la causalité temporelle est joyeusement massacrée au profit du flou artistique. Vous demandez la simulation d'un verre qui se brise, vous obtenez une bouillie de pixels qui se tord sur elle-même.

Mais un papier dévastateur du MirroS Lab, laboratoire associé à la Tsinghua University et la Nanyang Technological University, vient de sonner la fin de la récréation. Intitulée *Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning*, cette recherche balaie le dogme des pixels. Les chercheurs y affirment une vérité brutale, presque choquante de simplicité : la réalité physique ne se code pas en pixels ni en nuages de points flous, mais en mathématiques pures.

Anatomie d'un monde exécutable : l'adieu aux tenseurs latents

L'approche du MirroS Lab, matérialisée par la famille de modèles Code-as-World-VL, substitue à la matrice de pixels une description formelle et exécutable. Plutôt que de demander à un modèle de deviner à l'aveugle l'allure d'une bille qui roule sur une pente, le système produit un fichier JSON structuré et un script Python robuste. Ce duo n'est pas un banal appel d'API. C'est l'encodage fondamental de la scène.

Cette fameuse représentation EWR (Executable World Representation) s'articule autour d'une trinité intraitable. D'abord, la composition physique ($C_{phys}$), qui décompose la scène en entités discrètes. On y trouve le paramétrage métrique explicite : les positions dans l'espace ($x,y,z \in \mathbb{R}^3$), les orientations via quaternions, l'emprise spatiale exacte en mètres, la masse ($m$) en kilos, et les sacrosaints coefficients de frottement ($\mu$) et de restitution élastique ($e$). Pas de place pour le hasard.

Ensuite, l'évolution dynamique ($D_{dyn}$). Ici, le script Python prend le relais et invoque un solveur physique professionnel, typiquement PyBullet ou MuJoCo. Ce moteur calcule les trajectoires de façon déterministe, intégrant les vecteurs de vitesse initiale, l'accélération gravitationnelle standard ($9.81 m/s^2$), les forces de poussée et les chocs inélastiques. La continuité temporelle est garantie mathématiquement par un pas de calcul fixe. Un objet ne peut plus s'évaporer : les lois de Newton veillent au grain.

Enfin, l'apparence visuelle ($A_{vis}$). Le système paramètre les propriétés optiques des matériaux (albédo, rugosité, réflectance) et le placement de la caméra (distance focale, azimut). Blender ou le module headless de PyBullet se chargent alors du rendu pour générer la séquence vidéo de synthèse.

Ce paradigme pulvérise l'incompréhension chronique des modèles vision-langage. Le réseau n'a plus à halluciner des trajectoires latentes. Il dispose de son propre moteur interne pour simuler, vérifier et garantir la solidité de sa compréhension.

La boucle abductive : la méthode scientifique entièrement automatisée

La véritable prouesse de Code-as-World ne réside pas dans le script Python lui-même, mais dans la manière effrontée dont le modèle le pond. L'architecture refuse la facilité de la prédiction "one-shot". À la place, elle implémente une boucle itérative digne d'un chercheur opiniâtre enfermé dans son laboratoire.

Le modèle observe une vidéo du monde réel et s'engage dans un cycle implacable en six étapes : Propose, Instantiate, Execute, Render, Verify, Refine.

D'abord, l'agent génère une première hypothèse de script (Propose). Ce code est chargé (Instantiate) et lancé (Execute) dans le sandbox de simulation physique. Le simulateur produit les masques de segmentation et la vidéo de synthèse (Render). C'est là que le jugement tombe (Verify). Une batterie de métriques impitoyables quantifie l'écart entre la simulation et la réalité. L'Object IoU vérifie le recouvrement spatial, tandis que des algorithmes comme TRAJAN mesurent la déviation millimétrique du centre de masse, et JEDi s'assure que les chocs sonnent à la bonne frame temporelle.

Si l'écart crève le plafond de tolérance, le module de diagnostic s'active (Refine). Il identifie la cause physique : "La vitesse est sous-estimée à la frame 8, il faut augmenter la friction du plancher ou réduire l'angle de pente de 12%". Le code est corrigé, et la boucle repart. En trois à cinq itérations, le programme converge. C'est de l'abduction pure, théorisée jadis par Charles Sanders Peirce et incarnée aujourd'hui par une boucle de code. Le modèle affine sa compréhension jusqu'à ce que son équation décrive impeccablement l'observation.

L'entraînement bi-phase : forger des modèles intraitables

Pour transférer cette rigueur implacable à des modèles de production sans exiger une simulation complète à chaque requête, les chercheurs ont mis au point un programme d'entraînement curriculaire en deux phases.

La première phase consiste en un ancrage de mesure dans l'espace-image (Image-Space Measurement Grounding). Les modèles ingurgitent des jeux de données d'expressions référentielles (RefCOCO, RefCLEF) et de poursuite vidéo (GOT-10K). Ils apprennent à extraire des mesures brutes en pixels (diagonales, vitesses de déplacement) sans se faire duper par la perspective. Le modèle apprend l'œil de l'arpenteur.

La seconde phase est le coup de grâce : la calibration physique en espace-monde via GRPO (Group Relative Policy Optimization). Les modèles s'entraînent sur des paires Question-Réponse construites à partir des mondes exécutables vérifiés. La fonction de récompense est d'une sévérité absolue. Elle exige une précision métrique absolue sur des quantités invisibles à l'œil nu, comme l'énergie cinétique ou l'accélération spatiale. Le modèle apprend l'esprit du physicien.

L'humiliation des géants sur le benchmark QuantiPhy