VideoCoCo : l'IA qui a enfin appris que les balles tombent

Les vidéos générées par IA ont un problème que tout le monde voit mais que personne ne sait nommer : elles ressemblent à des rêves. Des trucs qui flottent sans raison. Des objets qui traversent les murs. Une balle qui roule, puis qui s'envole, puis qui disparaît. Joli, vaguement. Faux, totalement. VideoCoCo vient de sortir un papier et du code pour corriger ça — et les chiffres sont franchement impressionnants.

Le problème des vidéos fantômes

Depuis que Pika, Runway et consorts ont rendu la génération vidéo grand public, le diagnostic est le même partout : ça fait beau, ça fait pas réel. Pas à cause du pixel. À cause de la physique.

Un développeur qui teste ces outils depuis 2024 finit toujours par tomber sur le même bug : la gravité. Ou plutôt son absence. La boule de bowling qui effleure le sol puis reprend de la hauteur. L'eau qui coule à l'envers le temps d'une frame. Le tissu qui ondule de manière totalement arbitraire, comme si la diffusion avait simplement décidé que "ondulation" était une bonne texture.

Ce n'est pas une question de résolution ou de nombre de paramètres. C'est plus fondamental. Les modèles de diffusion vidéo apprennent des distributions statistiques de pixels. Ils savent à quoi ressemble une balle qui tombe — parce qu'ils en ont vu des milliers — mais ils ne savent pas pourquoi elle tombe. La physique, pour eux, c'est une corrélation entre des frames. Pas une loi.

Résultat : les violations s'accumulent dès que la scène sort un peu de la moyenne.

L'idée qui change tout : dessiner la physique avant les pixels

VideoCoCo (arXiv:2607.27380, sorti le 29 juillet 2026) part d'une hypothèse radicalement simple. Au lieu de demander à un modèle diffusion de deviner la physique depuis les pixels, on lui donne la physique d'abord. Explicitement. Sous forme de code.

Le pipeline ressemble à ça :

1. Un agent LLM écrit du code Blender.

Pas de la prose. Du Python exécutable, avec des objets 3D, des propriétés physiques (masse, coefficient de rebond, friction), des keyframes d'animation. Le code définit ce qui va se passer, frame par frame, selon les vraies lois de la mécanique.

2. Le code tourne dans un sandbox.

Blender l'exécute et produit un rendu intermédiaire — une vidéo proxy en blanc et gris, sans textures ni couleurs. Juste les formes, les mouvements, la déformation. La physique est là. La gravité est là. Mais l'esthétique, non.

3. Un vérificateur contrôle la logique causale.

Étape souvent oubliée dans ce genre de papier. Avant de passer au visuel, VideoCoCo vérifie que la séquence physique a du sens : un effet ne peut pas précéder sa cause. Si une bulle éclate avant d'avoir atteint la surface — problème. Cette étape traque les incohérences temporelles que le LLM pourrait glisser dans son code.

4. OmniWeaving restylise la vidéo proxy en photoréaliste.

La vidéo grise devient une vidéo en vraies couleurs, vraies textures, vraie lumière. Mais la physique — les trajectoires, les collisions, les déformations — est fixée par le proxy. Le modèle de diffusion n'a plus qu'à "habiller" une chorégraphie déjà établie.

C'est le principe du "Code-as-CoT" — le code comme chaîne de pensée. Le raisonnement n'est plus une séquence de tokens probabilistes, c'est un programme déterministe. Même entrée, même physique. Toujours.

Les chiffres, parce que c'est là que ça devient sérieux

Sur PhyGenBench — le benchmark spécialisé dans la cohérence physique des vidéos — le modèle baseline (OmniWeaving) score 0.475. VideoCoCo passe à 0.558. C'est +17.4%. Sur un benchmark qui mesure spécifiquement les violations de gravité, de collision et de déformation, ce n'est pas un détail.

Sur VBench-2.0, le benchmark de qualité généraliste (temporalité, dynamisme, stabilité visuelle) : baseline à 52.18, VideoCoCo à 77.88. C'est +49.2%. Soit presque 50% d'amélioration sur la qualité globale de la vidéo, simplement parce que la physique est correcte.

Traduction : quand la physique est juste, tout le reste s'améliore. Pas de contradiction entre frames. Pas d'artefacts causés par des trajectoires impossibles. Le modèle de diffusion passe moins de temps à compenser des incohérences, plus de temps à ajouter du détail.

Les 8 scénarios du dataset de démonstration couvrent des cas physiques variés : flottabilité, stress/déformation, fusion, tension de surface, sublimation, élasticité, ébullition. Pas de la mécanique triviale.

Ce que ça change pour qui

Pour les studios VFX et les créateurs 3D, c'est évident. Ces gens utilisent déjà Blender. Ils comprennent le scripting Python. VideoCoCo leur offre un chemin direct : écrire la physique comme ils ont toujours su le faire, et obtenir une vidéo photoréaliste qui la respecte. Sans compromis entre qualité visuelle et rigueur mécanique.