Cohere Transcribe : le 5,42 % qui ne survit pas à une vraie réunion

En mars 2026, Cohere lance Transcribe, son premier modèle vocal, et claironne 5,42 % de taux d'erreur par mot, « numéro 1 » du marché. Sept mois plus tard, un audit indépendant le passe sur de l'audio réel : sur une réunion, il rate un mot sur quatre. Le leaderboard, lui, l'a déjà relégué au 20e rang. Personne n'a menti. C'est juste qu'un chiffre de benchmark, ça ne vieillit pas bien.

Le chiffre qui circule depuis sept mois

Le 26 mars 2026, Cohere sort Transcribe : 2 milliards de paramètres, poids sous licence Apache 2.0, 14 langues dont le français. Le communiqué annonce 5,42 % de WER moyen sur huit jeux anglais, et une vitesse de 525 minutes d'audio traitées par minute de calcul. Le thread Hacker News du lancement récolte 221 points, un score solide pour un modèle d'infrastructure.

Le modèle est réellement bon sur l'audio propre. LibriSpeech clean à 1,25 %, VoxPopuli à 5,87 %. L'architecture est soignée : un encodeur Fast-Conformer qui concentre plus de 90 % des paramètres, un décodeur léger, 500 000 heures d'audio d'entraînement, un tokenizer BPE multilingue de 16 000 entrées. Pas de distillation depuis Whisper, un modèle entraîné de zéro, pensé pour tenir sur un seul GPU.

Sept mois, donc, ce 5,42 % circule. Il est repris tel quel dans la presse. Puis arrive le 19 octobre.

L'audit du 19 octobre : 13,65 % contre 5,42 %

InferenceBench, un blog technique adossé à un produit de benchmarking GPU, publie ses mesures. Protocole : vLLM 0.22.1, audio en 16 kHz mono, quatre jeux de données, 30 échantillons par jeu.

Voilà le tableau.

Jeu de données	WER mesuré	WER revendiqué	Écart
LibriSpeech clean	1,46 %	1,25 %	+0,21 point
VoxPopuli-EN	6,25 %	5,87 %	+0,38 point
AMI-IHM (micro-casque)	17,74 %	8,13 à 8,15 %	environ 2,2 fois
AMI-SDM (micro d'ambiance)	29,17 %	non publié	sans objet

Sur l'audio propre, le modèle tient sa promesse, à 0,2 point près. Sur les réunions, il s'effondre. Les courtes interventions passent bien. La performance se dégrade fortement sur les chevauchements de locuteurs, les clips à faible rapport signal-bruit et les changements de locuteur en milieu de phrase. Trois conditions qui dominent justement le corpus AMI.

L'audit avance trois explications, honnêtes : un split AMI différent, des réglages d'inférence différents, une taille d'échantillon différente. Il note aussi qu'un prétraitement VAD ferait probablement baisser le WER sur AMI. Autrement dit, le 29,17 % n'est pas une propriété du modèle, mais le résultat d'un enchaînement non optimisé.

Trois chiffres pour un même corpus

Le point le plus fragile de l'audit, il faut le dire, c'est sa moyenne. InferenceBench affirme avoir utilisé « les mêmes quatre jeux » que Cohere. Mais Cohere publie huit jeux. L'audit en reprend quatre, dont une condition que Cohere ne publie pas, et laisse tomber les cinq autres. Sa moyenne de 13,65 % donne donc deux fois plus de poids aux réunions que le tableau de Cohere.

Le « 2,5 fois pire » est arithmétiquement exact, mais il compare deux barèmes différents. La comparaison la plus solide reste AMI-IHM contre AMI : 17,74 % contre 8,13 %, soit 2,2 fois, sur un périmètre cette fois comparable.

Et voilà le vrai sujet, pas le scandale. Sur le corpus AMI, on a trois chiffres pour le même modèle : 8,13 % (Cohere, mars), 17,74 % (audit, octobre), 7,02 % (leaderboard, octobre, sur AMI-Cleaned). Aucun n'est faux. Aucun ne veut dire la même chose. La variable n'est pas le modèle : c'est le split, le prétraitement, le poids relatif des conditions acoustiques.

Deux réserves de plus, pour être complet. Le test multilingue de l'audit n'a chargé aucun échantillon, bug de son propre harnais. Et l'audit qualifie le modèle de « sous licence commerciale de Cohere », alors que les poids sont sous Apache 2.0 depuis le premier jour. Une erreur factuelle qui affaiblit son autorité sur les points de licence.

Le leaderboard, lui, a déjà tourné

Le 5,42 % de mars, c'est un instantané. Sept mois plus tard, le leaderboard Open ASR de Hugging Face, mis à jour le 17 octobre, classe 64 modèles. Cohere Transcribe y pointe au 20e rang, avec 6,26 % de WER moyen.

Il est passé derrière OtterAI (3,88 %), Zoom Scribe (4,15 %), Microsoft Azure Speech (4,26 %), ElevenLabs (5,37 %), et même Qwen3-ASR-1.7B, plus petit et meilleur (5,75 %). Son WER moyen est même supérieur au 5,42 % d'origine, parce que le leaderboard a nettoyé et recomposé ses jeux.

Ce qui le sauve, c'est la vitesse : RTFx de 923,71, devant Qwen3-ASR (835,62) et Granite Speech 2B (509,35) parmi les modèles de taille comparable. Et il garde un excellent LibriSpeech clean (0,97 %) et un AMI-Cleaned à 7,02 %, meilleur que ses 8,13 % revendiqués en mars.

Une contradiction interne de Hugging Face mérite d'être relevée : la fiche du modèle affiche encore un rang 6 et un WER de 5,42 %, tous marqués non vérifiés. Le leaderboard ne confirme plus ce classement. Un acheteur qui se fie à la fiche voit une réalité embellie. Pas de falsification, juste des métadonnées périmées. Mais pour vérifier, c'est un vrai casse-tête.

« Open source », vraiment ?

Un point de vocabulaire à trancher. Les poids sont sous Apache 2.0, plus permissif que la plupart des modèles Cohere. Mais le code d'entraînement n'est pas publié, et la licence ne dit rien des données. Le thread Hacker News de mars contient une question directe : « si c'est open source, où est le code source ? ». La réponse implicite, c'est que l'open source désigne ici les poids, pas la recette.

La distinction compte pour un acheteur. Un modèle à poids ouverts, on peut le redéployer, l'affiner, l'auditer sur sa sortie. On ne peut pas reconstruire son entraînement ni vérifier ce qu'il a ingéré. Simon Willison, dans le même fil, saluait la licence Apache 2.0, plus généreuse que le non-commercial habituel chez Cohere. Les deux lectures sont justes.

Ce que le modèle fait vraiment bien

Faut pas jeter le bébé. Sur l'audio propre et monolingue, Cohere Transcribe est excellent, et le coût au volume est difficile à battre.

Les cas d'usage crédibles : transcription de podcasts, dictée, sous-titrage de studio, archivage d'entretiens, veille audio. Les cas d'usage risqués : visioconférences, comptes rendus de réunion, centres d'appels, interviews en environnement bruyant. Sur AMI, un mot sur quatre à un mot sur six est faux. Pour un compte rendu automatique, ce niveau d'erreur impose une relecture humaine, ce qui annule une partie du gain.

Le calcul économique, lui, reste séduisant. Environ 0,21 dollar par heure d'audio sur un H100, contre 0,26 chez Deepgram Nova-2 et 0,65 chez AssemblyAI selon les chiffres cités par l'audit. Un seul H100 traite environ 600 heures d'audio par jour. Le point de bascule se situe autour de 2 000 heures par mois : en dessous, l'API managée reste plus simple ; au-dessus, l'auto-hébergement devient décisif.

Mais ce calcul ignore le coût caché. Pas d'horodatage, pas de diarisation, pas de vocabulaire personnalisé, pas de détection de langue. Pour un modèle vendu à l'entreprise, ce sont des manques lourds. Cohere recommande lui-même d'ajouter un noise gate ou un VAD pour éviter que le bruit de fond devienne une hallucination.

Et le cas français ? Le modèle supporte le français, mais il faut lui dire la langue, il ne la détecte pas, et l'alternance français-anglais est mal gérée. Pour du français métropolitain propre, ça devrait aller. Pour des réunions bilingues ou des accents régionaux marqués, aucune évaluation publique n'existe. Un trou documentaire que ni Cohere ni l'audit ne comblent.

Pour situer le produit : le marché de la transcription s'est réorganisé en trois couches. En haut, les API managées et les modèles propriétaires, OtterAI, Zoom Scribe, Microsoft Azure Speech, AssemblyAI, ElevenLabs. Au milieu, les modèles à poids ouverts de taille moyenne, Cohere Transcribe, Qwen3-ASR-1.7B, IBM Granite Speech, NVIDIA Canary. En bas, Whisper Large v3, la référence historique, désormais dépassée. Cohere vise le milieu : égaler les propriétaires sur l'anglais propre, avec des poids téléchargeables et un coût d'exploitation maîtrisé.

Verdict

Ce n'est pas une affaire de mensonge. C'est une affaire de péremption.

Un modèle sort avec un chiffre de leaderboard. Le chiffre circule dans la presse. Un audit indépendant le conteste. Puis le leaderboard évolue, et le chiffre devient obsolète. Le lecteur qui découvre le produit en octobre via un article de mars achète un classement qui n'existe plus.

Le modèle, lui, est ce qu'il est : un très bon moteur de transcription monolingue, rapide, pas cher, sans les fonctions de production qu'on attend sur des réunions. Si vous transcrivez des podcasts, foncez. Si vous comptez en faire des comptes rendus de réunion, préparez un budget relecture.

La leçon, elle, vaut pour tous les benchmarks : un WER moyen sur huit jeux peut cacher un écart de 7 % à 29 % selon la condition acoustique. La prochaine fois qu'on vous vend un chiffre, demandez le jeu de données. Et demandez la date.

Sources

Auteur

Krugz

Développeur fullstack

Développeur fullstack qui tente, tant bien que mal, de suivre l'actualité de l'IA au milieu d'une marée d'informations imbuvables et des milliers d'outils et de modèles qui sortent chaque jour.