C’est le grand frisson de l'année dans les officines de la Silicon Valley : on vous promet des agents autonomes capables de gérer votre boîte, d’apprendre vos petites manies et de bosser pendant que vous dormez. Le tout grâce à une « mémoire à long terme » magique. Sauf que les universitaires viennent de siffler la fin de la récréation, et le réveil est violent.
Dans le petit monde du baratin technologique, le RAG (Retrieval-Augmented Generation) et la mémoire agentique sont devenus les nouveaux gri-gris des marchands de vent. Pour écouter les bonimenteurs de X ou LinkedIn, leurs agents ont une mémoire absolue. Ils enregistrent tout, comprennent tout, compilent tout. C'est l'encyclopédie universelle dans la caboche d'un robot.
Sauf qu’en pratique, quiconque a essayé de faire coder un projet sérieux à un assistant a vu le machin s'emmêler les pinceaux après dix minutes, confondre vos configurations d'hier avec vos lubies d'avant-hier, et oublier joyeusement le chemin de votre fichier de configuration. Pour les développeurs, le constat est limpide : nos fiers agents autonomes ont en réalité la mémoire immédiate d’un poisson rouge sous sédatif.
C’est pour mettre fin à cette foire aux affirmations gratuites qu’une coalition académique mondiale (réunissant des poids lourds comme l'Université de Tianjin, l'Université d'Oxford, l'Université Tsinghua et le Shanghai AI Lab) vient de lancer le Agent Memory Leaderboard (AML). C’est le premier arbitre indépendant, froid et impitoyable, conçu uniquement pour mesurer ce que vos agents gardent dans le buffet. Et disons-le tout net : c’est la bérézina générale.
Le mythe de la mémoire infinie passe à la moulinette
Jusqu'ici, l'évaluation de la mémoire des agents relevait de l'auto-satisfaction marketing. Comme le souligne très bien l'ingénieur Rohan Paul sur son compte X, les benchmarks de mémoire souffraient d'un mal incurable : l'effet de manche. Chaque startup de base de données vectorielle arrivait avec ses propres jeux de données, ses propres invites secrètes et ses propres LLMs comme juges. Si le score montait, personne ne pouvait dire si le système de mémoire s’était amélioré ou si l'invite avait été taillée pour être d'une indulgence coupable.
L’AML règle la question en posant une frontière hermétique. Pour participer à cette grande lessive collective, les candidats ne peuvent pas tricher. Ils doivent simplement fournir deux fonctions d'API standards : Add pour écrire une info en base de données, et Search pour la retrouver. Tout le reste est verrouillé par la plateforme. C'est l'infrastructure de l'AML qui gère l'orchestration, qui pose les questions, qui utilise un modèle d'évaluation fixe et impartial, et qui attribue les notes sur un ensemble de 5 000 questions d’une précision chirurgicale.
La méthode coupe court aux beaux discours des plaquettes commerciales. Le système de mémoire doit digérer des historiques entiers de discussions, des arborescences de code et des flux de tâches complexes, puis ressortir la bonne info quand l'arbitre la demande. Pas d'invites personnalisées, pas de réglages fins de dernière minute. On injecte, on interroge, et on compte les survivants.
Le tableau de chasse ou la débandade générale
Les résultats officiels du Agent Memory Leaderboard viennent de tomber. Les darlings des réseaux sociaux et les projets open source les plus étoilés se sont fait rincer comme des débutants. Voici à quoi ressemble le haut du panier de cette foire aux amnésiques :
Rang | Système de mémoire | Note globale (%) | Extraction de faits (%) | Raisonnement relationnel (%) | Raisonnement temporel (%) |
1 | 58.02 | 89.89 | 63.44 | 60.00 | |
2 | 45.89 | 68.95 | 53.41 | 56.53 | |
3 | NetEase NTES-MEMORY-SMART | 44.21 | 55.57 | 46.80 | 20.60 |
4 | AML-Eval-FLASH (Baseline) | 43.65 | 55.43 | 43.66 | 22.28 |
5 | 42.61 | 53.62 | 42.90 | 22.01 | |
9 | 41.40 | -- | -- | -- | |
11 | 38.54 | -- | -- | -- | |
15 | 29.63 | -- | -- | -- |
Regardez bien ces chiffres. Le vainqueur de la compétition, MemoraX, un projet commercial fermé hyper-optimisé, culmine à seulement 58,02 % d'efficacité globale. Traduction pour le profane : même avec l'état de l'art mondial sur la mémoire, votre agent oublie, déforme ou rate sa cible plus de quatre fois sur dix. On est loin de l'intelligence artificielle qui va remplacer votre secrétaire de direction.
La dégringolade est encore plus comique quand on regarde les projets qui font le bonheur des influenceurs tech : Mem0, l'ancienne coqueluche d'Y Combinator avec ses 20 000 étoiles sur GitHub et sa levée de fonds clinquante, se traîne à la neuvième place avec un score misérable de 41,40 %. Votre agent propulsé par Mem0 est amnésique à 58 %. Autant confier les clés de la boutique à un mec qui a passé la nuit à picoler de l'absinthe. Cognee, qui promet de structurer votre mémoire avec des graphes de connaissances complexes et des plongements sémantiques sophistiqués, fait à peine mieux avec 42,61 %. Quant à SuperMemory, l'outil fétiche des bidouilleurs du dimanche sur X, il s'écrase lamentablement à la quinzième place avec 29,63 %*. À ce niveau-là, ce n'est plus une base de connaissances, c'est une passoire de cuisine. Autant écrire vos notes sur des morceaux de nappe et les jeter par la fenêtre.
Anatomie d'un cerveau troué : pourquoi ça coince ?
Pour comprendre pourquoi la mémoire des LLMs est une catastrophe industrielle, il faut se pencher sur les sept dimensions évaluées par le benchmark de l'AML. C’est ici que le vernis craque.
Retrouver un fait simple, du genre « Quel est l’email du client Martin ? », les modèles y arrivent à peu près. MemoraX s’en sort d’ailleurs très bien avec 89,89 % de réussite sur cette brique. Mais dès qu'on demande aux machines de faire marcher leurs méninges, c'est l'asile psychiatrique.
Prenons le raisonnement temporel. On ne demande pas seulement au système de stocker des fichiers, mais de comprendre la chronologie des événements. Par exemple : « Le client a-t-il râlé sur les tarifs avant ou après que nous ayons appliqué la réduction de juillet ? ». Sur ce terrain, NetEase et son NTES-MEMORY-SMART s’effondrent à 20,60 % d’exactitude. C'est moins bien que si on jouait la réponse à pile ou face. Si votre agent comptable ne sait pas si la facture a été émise avant ou après le virement, vous pouvez déjà préparer votre dossier pour le tribunal de commerce.
Mais le clou du spectacle reste l’apprentissage du contexte et l’exécution des règles en continu. L’AML utilise pour cela le jeu de données CLBench (Context Learning Bench). Le but ? Voir si l'agent se souvient des instructions dynamiques que vous lui avez données au fil de l’eau pour exécuter un processus. C’est la base même de n'importe quel agent de service client ou assistant de développement.
Ici, c'est le néant absolu. Le système MemOS, pourtant adossé à un papier de recherche d'ArXiv très sérieux, affiche un score humiliant de 9,82 % dans cette catégorie. Pas même dix pour cent ! Le truc oublie les consignes de sécurité, ignore les règles de nommage des fichiers et réinvente la roue à chaque message.
Le RAG n'est pas une mémoire, c'est un débarras
Le problème fondamental, c’est que la plupart de ces systèmes confondent stockage et mémoire. Les ingénieurs naïfs s'imaginent qu'il suffit de découper des documents en petits morceaux, de les balancer dans un index vectoriel avec une recherche par similarité cosinus, et de crier victoire.
La mémoire humaine n’est pas un simple moteur de recherche. C’est un processus vivant. C'est l'art d'oublier ce qui n'a pas d'importance pour faire de la place, de mettre à jour ses croyances quand une information change, et de restructurer ses connaissances en continu. Si vous déménagez de Paris à Lyon, votre cerveau doit écraser l’ancienne adresse tout en gardant l’historique de vos souvenirs parisiens. Les systèmes actuels, eux, se contentent de stocker les deux adresses côte à côte et de laisser le LLM deviner laquelle est la bonne en fonction du vent. C’est ce qu'on appelle un échec cuisant de la gouvernance de mémoire.
Tant que les développeurs d'agents continueront à concevoir la mémoire comme un vulgaire placard où l'on entasse des fichiers texte sans cycle de vie ni hiérarchisation, leurs assistants virtuels resteront d’aimables gadgets, bons à faire des résumés de mails ou à amuser la galerie sur les réseaux sociaux.
Pour les entreprises qui rêvent de déployer de vraies flottes d'agents autonomes, ce premier rapport de l'AML est une douche froide salvatrice. La mémoire des IA est le véritable goulot d’étranglement de cette décennie. Et pour l'instant, les clés du coffre-fort cérébral sont toujours perdues au fond de la mémoire tampon.
Sources
- Plateforme officielle : Agent Memory Leaderboard
- Code source et spécifications : Dépôt GitHub AML-memory
- Analyse de la cohérence d'évaluation : Rohan Paul sur X (ex-Twitter)
- Architecture du système de mémoire : Papier de recherche MemOS sur ArXiv et Dépôt GitHub de MemOS
- Comptes alternatifs évalués : MemoraX officiel, Mem0 sur GitHub, Cognee sur GitHub et SuperMemory sur GitHub
✦ Idée d'illustration : Un cerveau humain rétro-futuriste stylisé, dessiné en lignes blanches et bleues néon sur fond sombre brut. La moitié du cerveau est saine et lumineuse, tandis que l'autre moitié est un tas d'engrenages rouillés et de tuyaux qui fuient, desquels s'échappent des petits morceaux de papier volants avec des inscriptions comme « ERROR 404 » et « WHO IS USER ? ». L'arrière-plan présente des grilles d'indexation vectorielles floues et de vieux cadrans analogiques. Style néobrutaliste, traits épais et ambiance cyberpunk des années 80.
