LLM API Speedtest — Le speedtest des APIs LLM

État des lieux

Quand un fournisseur annonce « 200 tokens par seconde », il le mesure depuis ses propres datacenters américains. Ce qui vous intéresse, vous, c'est ce que vous obtiendrez depuis chez vous, en France, à 9 h du matin. LLM API Speedtest, un CLI Go open source sorti le 6 septembre 2026, veut combler ce trou : benchmarker soi-même les endpoints d'APIs LLM OpenAI-compatibles — fournisseurs directs, gateways, proxys et relais — sur quatre métriques, tokens par seconde, time to first byte, latence totale et taux de succès.

L'idée est bonne et le créneau quasi vide. Le problème, c'est que l'outil n'a encore rien prouvé : le tableau de classement du README est vide, l'unique run CI est en échec, et l'auteur est un compte GitHub anonyme créé la veille du dépôt.

La carte des menus

Gratuit, open source, licence MIT, zéro dépendance tierce. Un seul binaire Go, un fichier stations.json où vous décrivez vos endpoints (id, base_url, clé, modèles), et c'est parti. Pas de tarif, pas de serveur, pas de compte.

Ce que la bête sait vraiment faire

Le protocole est propre : POST sur /v1/chat/completions avec un prompt identique, temperature à zéro, stream désactivé, max_tokens à 300 — « so runs are easier to compare », écrit le README. La concurrence est paramétrable, le timeout global aussi. Un run compare plusieurs « stations » — un fournisseur officiel face à un relais type ArgoLink ou OpenRouter sur le même modèle, par exemple — et enregistre pour chaque paire station/modèle le débit, le TTFB, la latence totale et le statut.

Deux sorties : un rapport JSON complet, et une sous-commande write-readme qui régénère le tableau de classement du README. Un workflow GitHub Actions (cron quotidien à minuit) peut lancer le benchmark, puis auto-commiter le README et le rapport — l'outil est pensé pour la surveillance continue de la qualité de service, pas pour un test ponctuel.

Le positionnement est clair : comparer fournisseurs, gateways et relais depuis sa propre région, vérifier qu'un relais ne dégrade pas la latence, documenter une décision d'achat avec un rapport reproductible. En amont de l'achat, là où Portkey ou LiteLLM mesurent le trafic qui passe déjà chez eux.

Les couleuvres à avaler

La première couleuvre est le conflit d'intérêt. Le README affiche en tête une bannière sponsor « ArgoLink », un relais API multi-modèles commercial, et la config d'exemple embarque ArgoLink comme station par défaut. Un outil censé mesurer objectivement les relais est sponsorisé par un relais — le lecteur peut légitimement suspecter un benchmark orienté. Le relais finance l'outil qui le mesure.

La deuxième, c'est l'anonymat. Le compte GitHub pcm469768-droid a été créé le 5 septembre 2026, la veille du dépôt. Aucun nom, aucune bio, aucun historique. Le projet a un jour d'existence, 31 étoiles en moins de 24 h, et zéro preuve de fonctionnement publiée : tableau de classement vide, run CI en échec, aucun rapport d'exemple commité.

La troisième est méthodologique. Une mesure de latence mono-position n'a de sens que relative — comparer des endpoints depuis le même point, à la même heure. Le prompt par défaut de l'exemple est en chinois, les valeurs absolues ne sont pas généralisables, seul le classement relatif d'un même run est exploitable. Et le périmètre est limité au format Chat Completions OpenAI-compatible : pas de protocole natif Anthropic, pas de notion de coût par token.

Verdict

LLM API Speedtest répond à un besoin réel — mesurer soi-même la latence des APIs, dans un marché où les chiffres publiés sont du marketing — et son protocole reproductible est une bonne base. Mais c'est un outil d'un jour, anonyme, sponsorisé par un relais, et qui n'a encore publié aucune mesure. À prendre comme un outil à éprouver soi-même, pas comme une source de vérité. Le principe est juste ; la confiance, elle, reste entièrement à construire.

★★☆☆☆