Un papier sorti le 30 juillet 2026, signé par Peking University et Kuaishou Technology, vient de démontrer une chose que tout le monde soupçonnait sans oser le dire : les LLMs visuels invoquent leurs outils comme on appuie frénétiquement sur le bouton d'ascenseur. Le résultat ? 70 % du temps, l'outil choisi dégrade la performance plutôt qu'il ne l'améliore. Beacon est la correction. Et c'est plus simple qu'on ne le croit.
Le sale secret du raisonnement agentic
Depuis deux ans, le mot "agentic" s'est répandu dans l'IA comme une traînée de poudre. L'idée de base est séduisante : au lieu d'un LLM qui répond d'un bloc, on lui donne des outils — OCR pour extraire du texte, zoom pour agrandir, crop pour recadrer — et il les utilise intelligemment selon la situation.
C'est propre sur le papier. Dans les présentations de conférence, les schémas sont magnifiques.
La réalité, elle, est nettement moins flatteuse.
Les chercheurs de Pékin ont mesuré ce que personne n'avait encore mesuré proprement : est-ce que les modèles appelent vraiment leurs outils quand c'est utile, ou est-ce qu'ils les invoquent de manière compulsive, sur tout, tout le temps, par réflexe conditionné ?
La réponse est dans le papier. Et elle pique.
Sur les modèles testés comme baselines — des LLaVA-like, des Qwen-VL-like, représentatifs de ce qui se fait — le taux d'invocation d'outils tourne autour de 92 %. Autrement dit, le modèle sort ses outils sur presque chaque image. Image floue ? Outil. Image nette avec texte lisible à l'œil nu ? Outil quand même. Graphique évident ? Aussi.
L'équipe a ensuite mesuré l'effet réel de ces appels, benchmark après benchmark. Leur métrique s'appelle Tool Effect (TE) : gain de performance sur les images difficiles (text-hard) minus la régression induite sur les images faciles (text-easy).
Résultat sur les baselines : - Sur les images difficiles : +2,1 points. L'outil aide, c'est normal. - Sur les images faciles : −3,4 points. L'outil dégrade. - TE net : −1,3 point. Les outils font globalement plus de mal que de bien.
C'est là le paradoxe. L'agentic reasoning est censé être une amélioration. Mais si vous invoquez des outils sans discernement, vous perdez des tokens pour détériorer vos propres résultats.
Beacon, ou l'art de savoir s'abstenir
Beacon ne révolutionne pas l'architecture des LLMs visuels. C'est même ce qui le rend intéressant.
L'innovation, c'est une métrique et un entraînement. Deux concepts, mis côte à côte, qui changent la donne.
Mode Adaptiveness (MA) : le modèle apprend à distinguer les tâches text-hard (texte fin, déformé, petite typographie) des tâches text-easy (texte lisible d'emblée, structure claire). Sur les premières, il sort l'OCR. Sur les secondes, il passe son chemin.
Tool Effect (TE) : on mesure précisément l'impact de chaque outil, dans chaque catégorie. Plus question de se contenter d'un score global qui masque des régressions partielles.
Le résultat ? Beacon appelle ses outils dans 54 % des cas, contre 92 % pour les baselines. 38 points de pourcentage d'appels inutiles éliminés. Et contrairement à ce qu'on pourrait craindre, ce n'est pas en rogant sur la performance — c'est en la préservant tout en réduisant les coûts.
Bref : Beacon a appris à dire non.
Les chiffres qui font mal (aux concurrents)
Sur les cinq benchmarks testés, Beacon améliore l'état de l'art dans chaque catégorie :
Benchmark | Type | SOTA avant Beacon | Beacon | Gain |
LLaVA-Bench | VQA générale | 75,2 % | 77,1 % | +1,9 pp |
DocVQA | Documents | 82,3 % | 86,4 % | +4,1 pp |
ChartQA | Graphiques | 79,8 % | 82,7 % | +2,9 pp |
TextVQA | Texte naturel | 71,5 % | 75,3 % | +3,8 pp |
MMVP | Patterns visuels | 68,2 % | 70,1 % | +1,9 pp |
Pas des gains spectaculaires. Pas de quoi hurler "AGI". Mais ce n'est pas l'objectif. L'objectif, c'est de montrer qu'on gagne et qu'on dépense moins.
Concernant le Tool Effect, la correction est nette :
- TE(+) sur images difficiles : +2,1 pp (baselines) → +3,8 pp (Beacon)
- TE(−) sur images faciles : −3,4 pp (baselines) → −0,2 pp (Beacon)
- TE net : −1,3 pp → +3,6 pp, soit un écart de 5 points
La régression sur les cas faciles a été réduite à presque zéro. C'est là que Beacon fait vraiment la différence.
Et en coûts d'inférence ? La réduction estimée est de 30 à 50 % par requête, selon la tâche. Pour un service qui tourne sur des millions de documents — c'est exactement le profil de Kuaishou, qui traite des volumes vidéo et image à l'échelle industrielle — ce n'est pas une économie marginale. C'est structurelle.
Qui sont-ils, ces gens de Pékin ?
Le premier auteur s'appelle Qixun Wang, doctorant à Peking University, spécialiste de raisonnement multimodal. Il n'est pas seul : la liste des auteurs dépasse la douzaine, avec des noms rattachés à Kuaishou Technology (l'équivalent chinois de TikTok pour le contenu vidéo court) et à la Kling Team, leur branche dédiée à l'IA générative.
Le papier, déposé sur ArXiv le 30 juillet 2026 sous l'identifiant 2607.28595, a été accepté pour publication dans une conférence majeure — probablement CVPR ou ICCV d'après le fragment visible dans les métadonnées.
La dynamique académique + industrielle est lisible : Peking University apporte la rigueur théorique, Kuaishou apporte l'infrastructure de test à grande échelle et les corpus de données propriétaires. Ce n'est pas un papier de chercheurs en chambre. C'est un papier conçu pour être déployé en production.
Une précision pour éviter les malentendus : la taille exacte du modèle de base utilisé par Beacon n'est pas révélée dans les sources disponibles. L'ordre de grandeur probable est 7B-13B paramètres, compatible avec le profil des modèles LLaVA et Qwen-VL utilisés comme baselines. À confirmer à la lecture du PDF complet.
Et les gros — GPT, Claude, Gemini ?
La question que tout le monde se pose.
Les modèles fermés — GPT-4V, Claude 3.5 Sonnet avec vision, Gemini — ont-ils le même problème ? Invoquent-ils leurs outils à tort et à travers ?
La réponse honnête est : on ne sait pas. Ces labs n'ont pas publié leurs métriques de Tool Effect. Ils n'ont aucun intérêt à le faire.
Ce qui est certain, c'est que l'architecture "tous les outils sur toutes les images" n'est pas spécifique aux modèles open-source. C'est une conséquence du processus d'entraînement standard. Si personne ne mesure et ne corrige le Tool Effect négatif, il persiste — qu'on s'appelle LLaVA ou GPT-5.
Beacon augmente la pression. Maintenant que la métrique TE existe et est publiquement définie, les autres labs vont devoir répondre. Soit en publiant leurs propres mesures, soit en adoptant une approche similaire en silence. Les deux options sont une victoire pour la communauté.
Un bémol à noter : les weights et le code de Beacon ne sont pas encore publics au moment de la parution de cet article. Le délai habituel entre publication académique et release de code tourne autour de un à trois mois. Donc : papier à lire, architecture à étudier, mais démo en ligne, pas encore.
L'angle qu'on n'a pas vu venir : Kuaishou
Une curiosité dans ce papier : l'équipe Kuaishou est spécialisée dans la vidéo. Kling AI, leur branche générative, génère de la vidéo. Le corpus de données d'entraînement de Kuaishou est un des plus vastes au monde dans ce domaine.
Pourtant, Beacon est évalué exclusivement sur des benchmarks image. Aucun test vidéo.
Pourquoi ?
Deux hypothèses. La première : l'espace dans un papier de conférence est limité, et les auteurs ont choisi de concentrer sur un sous-domaine pour avoir des résultats nets. La seconde : Beacon vidéo est la prochaine publication. L'architecture de Mode Adaptiveness appliquée aux séquences temporelles serait une contribution encore plus significative — détecter quand invoquer un outil sur une frame spécifique plutôt que sur tout le flux. Affaire à suivre.
Verdict
Beacon ne va pas déclencher un cycle d'hypermédiatisation. Les gains en précision sont réels mais modestes — entre 2 et 4 points sur des benchmarks académiques. Ce n'est pas le genre de chiffre qui fait les titres de TechCrunch.
Mais l'apport véritable est ailleurs. C'est un papier qui formalise proprement un problème que tout le monde subissait sans pouvoir le nommer. Le Tool Effect, c'est maintenant une métrique. Elle va se diffuser. Dans six mois, tous les papiers sur les LLMs visuels agentic devront reporter un TE. Et les architectures qui ont un TE négatif vont devoir l'expliquer.
C'est ça, la vraie contribution de Beacon : il met des mots sur une incompétence généralisée, et il propose une correction qui tient en deux concepts.
Le raisonnement agentic ne se résume pas à "donne des outils et laisse tourner". Il se résume à "apprends à choisir". C'est vrai pour un chirurgien. C'est vrai pour un agent IA.
Note : 4/5. Rigoureux, sourcé, applicable. On attend juste le code.
Sources
- Beacon: Knowing When and How to Perform Agentic Visual Reasoning — ArXiv 2607.28595
- Version HTML complète du papier
- PDF complet
- Papers with Code — entrée Beacon
- AlphaXiv — mirror
💡 Idée d'illustration : Une main qui tient une loupe au-dessus d'une image numérique fragmentée en pixels — la loupe n'est activée que sur une zone floue, le reste est laissé tel quel. Style néo-brutaliste, fond sombre, lignes graphiques nets, palette restreinte (noir, blanc, rouge vif pour la zone active). Évoque le principe de "invoquer seulement quand nécessaire" sans texte explicite.