Researcher comparing an archival audio recording with annotated paper transcripts in a softly lit cultural archive

Taux d’erreur d’une transcription automatique : comment le mesurer

18 novembre 2026

Pourquoi mesurer la qualité d’une transcription

Une transcription automatique transforme un enregistrement sonore ou vidéo en texte. Dans les domaines de la culture, de la musique et du patrimoine, elle peut servir à préparer des sous-titres, indexer une conférence, rendre une interview consultable ou faciliter la recherche dans des archives sonores. Mais une transcription lisible à première vue n’est pas nécessairement exacte. Une erreur sur un nom d’artiste, un titre d’œuvre, une date ou un terme technique peut modifier le sens d’un passage.

Le taux d’erreur permet de passer d’une impression subjective à une mesure reproductible. Il ne répond toutefois pas à une seule question. On peut chercher à savoir combien de mots sont incorrects, si les noms propres sont bien reconnus, si les phrases sont correctement ponctuées ou si l’enregistrement reste compréhensible malgré quelques approximations. Ces objectifs demandent des indicateurs et des méthodes parfois différents.

La mesure la plus connue est le WER, pour Word Error Rate, ou taux d’erreur au niveau des mots. Le CER, pour Character Error Rate, mesure les écarts caractère par caractère. Ces deux indicateurs sont utiles, à condition de comparer la transcription automatique avec une transcription de référence préparée selon des règles explicites.

Le principe du WER, l’indicateur de référence au niveau des mots

Le WER compare une transcription produite automatiquement à un texte de référence considéré comme correct. Sa formule est la suivante :

WER = (S + D + I) / N × 100

  • S désigne les substitutions, lorsqu’un mot est remplacé par un autre.
  • D désigne les suppressions, lorsqu’un mot présent dans la référence disparaît de la transcription.
  • I désigne les insertions, lorsqu’un mot apparaît dans la transcription alors qu’il ne figure pas dans la référence.
  • N correspond au nombre de mots du texte de référence.

Imaginons une référence de 100 mots comprenant 6 substitutions, 3 suppressions et 2 insertions. Le calcul donne : (6 + 3 + 2) / 100 × 100, soit un WER de 11 %. Ce résultat signifie qu’il y a 11 opérations d’édition rapportées à la longueur de la référence. Il ne signifie pas nécessairement que 11 % des mots sont isolément faux, car une opération peut découler de l’alignement entre plusieurs mots.

Le WER peut dépasser 100 %. Cela arrive lorsque le nombre d’insertions, de suppressions et de substitutions est supérieur au nombre de mots de référence. Ce résultat n’est pas une erreur de calcul. Il indique que la transcription est très éloignée du texte de référence ou que la comparaison porte sur un extrait particulièrement difficile.

Construire un texte de référence réellement comparable

La qualité de la mesure dépend directement de la qualité du texte de référence. Celui-ci doit être établi à partir du même fichier audio ou vidéo, sur le même segment temporel. Une référence réalisée à partir d’un script préparé à l’avance peut différer de la parole effectivement prononcée. Dans une conférence, l’orateur peut reformuler une phrase, ajouter une parenthèse ou abandonner une partie de son texte.

Il faut ensuite définir des règles de normalisation. La comparaison sera différente selon que l’on conserve ou non la ponctuation, les majuscules, les nombres écrits en chiffres et les hésitations. Pour un calcul au niveau des mots, on peut notamment préciser :

  • si les signes de ponctuation sont ignorés ou conservés ;
  • si les majuscules et les minuscules sont considérées comme équivalentes ;
  • comment sont traités les nombres, par exemple « 1914 » et « mille neuf cent quatorze » ;
  • si les hésitations comme « euh » sont incluses ;
  • comment sont séparées les contractions et les apostrophes ;
  • comment sont transcrits les sigles, les abréviations et les noms propres.

Ces décisions doivent être appliquées de la même manière au texte automatique et à la référence. Comparer une référence très éditorialisée avec une sortie brute pénaliserait artificiellement le système. À l’inverse, normaliser excessivement peut masquer des erreurs importantes, notamment sur les noms de personnes, les lieux et les titres d’œuvres.

WER et CER : deux mesures, deux usages

Le WER est intuitif lorsqu’on évalue une transcription destinée à être lue, recherchée ou publiée. Il est cependant sensible à la segmentation des mots. En français, une erreur sur un mot long compte comme une seule erreur, tandis qu’une erreur qui entraîne plusieurs séparations peut en produire davantage.

Le CER mesure les caractères. Sa formule reprend le même principe :

CER = (substitutions + suppressions + insertions) / nombre de caractères de la référence × 100

Le CER est particulièrement utile pour étudier les erreurs orthographiques fines, les langues ou les écritures où la notion de mot est moins stable, ainsi que les sorties destinées à une recherche plein texte. Il peut toutefois donner une impression favorable lorsqu’un mot est presque correct mais contient une faute qui modifie son sens. À l’inverse, un nom propre mal reconnu peut être gravement problématique même si le CER global reste faible.

Dans une évaluation sérieuse, WER et CER peuvent être accompagnés d’une analyse qualitative. Un résultat global doit être complété par des catégories d’erreurs : noms propres, dates, nombres, termes spécialisés, changements de locuteur, mots couverts par la musique ou passages inaudibles. Pour un contenu culturel, cette lecture par catégories est souvent plus utile qu’un seul pourcentage.

IndicateurCe qu’il mesureIntérêt principalLimite
WERErreurs au niveau des motsÉvaluer la fidélité globale d’un texte lisibleSensible aux règles de segmentation et de normalisation
CERErreurs au niveau des caractèresObserver les écarts orthographiques et les écritures variablesNe reflète pas toujours la gravité sémantique d’une erreur
Analyse par catégoriesRépartition des erreurs selon leur natureRepérer les points critiques pour un usage donnéDemande un examen humain et des règles cohérentes

L’alignement entre référence et sortie automatique

Pour calculer un WER ou un CER, il faut aligner les deux textes. L’alignement consiste à déterminer quelles unités se correspondent et quelles opérations sont nécessaires pour passer de la transcription automatique à la référence. Les méthodes courantes s’appuient sur la distance d’édition, également appelée distance de Levenshtein.

L’algorithme cherche une séquence d’opérations qui minimise le nombre de substitutions, suppressions et insertions. Lorsque plusieurs alignements sont possibles, le résultat peut dépendre de la règle choisie par l’outil d’évaluation. Il est donc important de conserver les paramètres utilisés et de ne pas comparer directement des scores calculés avec des conventions différentes.

La segmentation audio doit également être examinée. Si un fichier est découpé au milieu d’un mot, d’une phrase ou d’un changement de locuteur, les erreurs peuvent être attribuées au mauvais extrait. Pour une évaluation fiable, il est préférable de conserver les mêmes bornes temporelles pour la référence et la sortie automatique, puis de vérifier les cas limites.

Dans un dialogue, la diarisation, c’est-à-dire l’identification des différents locuteurs, peut être évaluée séparément. Une transcription peut restituer correctement les mots tout en attribuant une réplique à la mauvaise personne. Si l’objectif est l’archivage d’un entretien ou la publication d’un échange, cette erreur doit apparaître dans le bilan, même si elle n’augmente pas fortement le WER.

Pourquoi un taux global ne suffit pas dans les contenus culturels

Un même taux d’erreur peut recouvrir des situations très différentes. Une transcription comportant des erreurs sur des mots courants restera parfois compréhensible. Une autre, avec moins d’erreurs mais une confusion systématique sur les noms propres, les lieux ou les titres, pourra être inutilisable pour un catalogue ou une notice de conférence.

Les enregistrements culturels présentent des difficultés particulières :

  • les entretiens peuvent contenir des noms d’artistes, d’œuvres et d’institutions peu fréquents dans les corpus d’entraînement ;
  • les conférences emploient des termes d’histoire de l’art, de musicologie, d’architecture ou de conservation ;
  • les captations de spectacle mêlent parole, musique, applaudissements et bruits de salle ;
  • les archives anciennes peuvent présenter du souffle, une bande passante limitée ou une vitesse de lecture irrégulière ;
  • les échanges à plusieurs voix rendent la segmentation et l’attribution des paroles plus complexes ;
  • la poésie, le théâtre et la chanson peuvent jouer sur la prononciation, le rythme ou la répétition.

Il est donc pertinent de calculer un score global, puis de produire des sous-scores. On peut mesurer séparément les passages parlés et chantés, les voix principales et secondaires, ou encore les extraits contenant des noms propres. Le nombre d’erreurs critiques peut aussi être indiqué : un nom déformé, une date transformée ou une négation omise ne pèse pas nécessairement davantage dans le WER, mais peut avoir une conséquence éditoriale majeure.

Mettre en place un protocole d’évaluation reproductible

Une évaluation utile doit pouvoir être répétée par une autre personne ou sur une nouvelle version du système. Le protocole peut suivre les étapes suivantes :

  1. Définir l’usage final. S’agit-il d’une recherche documentaire, d’un sous-titrage, d’une publication, d’une préparation de montage ou d’un repérage dans des archives ? Le niveau d’exigence n’est pas identique.
  2. Sélectionner les extraits. Il faut représenter les conditions réelles : qualité sonore, durée, nombre de locuteurs, présence de musique et diversité des accents ou des registres.
  3. Préparer la référence. Une personne compétente écoute l’enregistrement et transcrit ce qui est effectivement dit, en notant les règles adoptées pour les hésitations, les nombres et les noms propres.
  4. Normaliser les deux textes. La même procédure doit être appliquée à la référence et à la sortie automatique avant le calcul.
  5. Calculer plusieurs indicateurs. Le WER fournit une mesure principale ; le CER et les catégories d’erreurs apportent des informations complémentaires.
  6. Examiner les erreurs critiques. Il faut relire les passages où apparaissent des noms, des dates, des citations ou des termes spécialisés.
  7. Conserver les paramètres. Le fichier audio, la version du modèle, les règles de normalisation et les résultats doivent être archivés pour permettre une comparaison ultérieure.

La taille de l’échantillon doit être suffisante pour éviter qu’un seul passage atypique ne déforme le résultat. Il n’existe pas un nombre universel d’extraits valable pour tous les projets. Le choix dépend de la diversité des enregistrements et de la précision recherchée. Pour rendre le bilan plus lisible, on peut présenter le score moyen, la médiane par extrait, les valeurs les plus élevées et les types d’erreurs dominants.

Interpréter les résultats avec prudence

Un taux d’erreur n’est pas une note absolue attribuée à une transcription. Il dépend du fichier audio, du vocabulaire, de la langue, de l’accent, de la qualité de la référence et des conventions de calcul. Deux évaluations affichant le même WER ne sont comparables que si elles reposent sur des données et des règles proches.

Il faut aussi distinguer la moyenne calculée sur l’ensemble des mots et la moyenne des taux obtenus extrait par extrait. La première donne davantage de poids aux longs enregistrements. La seconde considère chaque extrait de manière égale. Les deux approches peuvent être pertinentes, mais elles ne répondent pas à la même question.

Pour exprimer l’incertitude, une évaluation peut utiliser des intervalles obtenus par rééchantillonnage, notamment une méthode bootstrap. Cette approche consiste à tirer à plusieurs reprises des extraits ou des segments dans l’échantillon disponible afin d’observer la dispersion du score. Elle ne transforme pas un petit corpus en mesure définitive, mais elle évite de présenter un pourcentage comme parfaitement stable.

La correction humaine reste nécessaire lorsque le texte doit être publié ou utilisé comme document de référence. Le taux d’erreur aide à estimer l’effort de relecture et à cibler les passages sensibles. Il ne remplace pas une vérification éditoriale, particulièrement lorsque la transcription contient des informations historiques, des citations ou des noms propres.

Réduire les erreurs après la mesure

Mesurer n’a d’intérêt que si le résultat guide des actions concrètes. Une première amélioration consiste à traiter séparément les défauts liés au son et ceux liés au modèle de reconnaissance. Une voix couverte par une musique, un micro éloigné ou des réverbérations fortes peuvent nécessiter une préparation audio. Cette préparation doit être contrôlée, car une réduction trop agressive du bruit peut supprimer des éléments de parole.

La seconde piste concerne le vocabulaire. Une liste de termes attendus peut faciliter la relecture et, selon les outils utilisés, orienter la reconnaissance. Les noms d’artistes, les titres d’œuvres, les lieux et les termes techniques doivent être vérifiés dans des sources documentaires fiables avant d’être intégrés à un glossaire.

La troisième piste est la segmentation. Séparer correctement les locuteurs et les passages musicaux peut améliorer la lisibilité, l’attribution des paroles et le contrôle humain. Pour les sous-titres, il faut ensuite évaluer des critères qui ne figurent pas dans le WER, comme la longueur des lignes, le rythme d’apparition et la synchronisation avec l’image.

Enfin, il est utile de conserver une liste des erreurs récurrentes. Si les mêmes noms ou expressions sont régulièrement mal reconnus, cette liste devient un outil de contrôle pour les productions suivantes. Le but n’est pas de rechercher un chiffre isolé, mais de comprendre quelles erreurs gênent réellement l’usage prévu.

FAQ sur la mesure d’une transcription automatique

Le WER est-il le meilleur indicateur dans tous les cas ?

Non. Le WER est un indicateur central pour comparer des transcriptions au niveau des mots, mais il ne mesure pas la ponctuation, la synchronisation, l’identification des locuteurs ni la gravité particulière d’une erreur. Un CER et une analyse qualitative sont souvent nécessaires.

Faut-il compter la ponctuation dans le taux d’erreur ?

La décision dépend de l’objectif. Pour évaluer la reconnaissance des mots, la ponctuation est généralement retirée avant le calcul. Pour une transcription destinée à être publiée ou sous-titrée, elle doit faire l’objet d’un contrôle séparé, car elle influence directement la compréhension et la fluidité de lecture.

Comment évaluer les noms propres ?

Il est préférable de constituer une catégorie spécifique. On peut relever le nombre de noms présents dans la référence, le nombre correctement reconnus et les confusions observées. Cette mesure ciblée complète le WER global et correspond mieux aux besoins d’un entretien, d’une conférence ou d’une archive culturelle.

Une transcription avec un faible taux d’erreur peut-elle être inutilisable ?

Oui. Quelques erreurs seulement peuvent modifier une date, une négation, un titre ou un nom de personne. La décision d’utiliser une transcription doit donc tenir compte de la nature des erreurs, de la destination du texte et du niveau de relecture prévu.

Quelle source méthodologique consulter pour les définitions du WER et du CER ?

Les notions de distance d’édition et de taux d’erreur sont documentées dans la littérature scientifique sur la reconnaissance automatique de la parole, notamment dans les travaux de référence de Frederick Jelinek et dans les publications de l’International Speech Communication Association. Les conventions doivent toujours être précisées dans le rapport d’évaluation.

En savoir plus à ce sujet :

Researcher comparing an archival audio recording with annotated paper transcripts in a softly lit cultural archive

Taux d’erreur d’une transcription automatique : comment le mesurer

18/11/2026
Une transcription automatique transforme un enregistrement sonore ou vidéo en texte. Dans les domaines de la culture, de la musique et du patrimoine, elle peut servir à préparer des…
Audio technician comparing an archival recording and cleaned copy at a softly lit sound restoration desk

Réduire le bruit d’un fichier audio avant de le transcrire

18/11/2026
La transcription automatique ou humaine dépend d’abord de la qualité du signal. Une voix peut être parfaitement audible pour une personne et pourtant difficile à analyser pour un logiciel…
Interview recording setup in a naturally lit riad room with a microphone, headphones, notebook, and phone.

Enregistrer un son propre pour faciliter la transcription

17/11/2026
Une transcription fiable commence avant même l’utilisation d’un logiciel ou d’un service de reconnaissance vocale. La difficulté ne vient pas seulement de la capacité à comprendre les…
Audio editor comparing a marked transcript with a recording in a softly lit archive room.

Corriger une transcription automatique : méthode de relecture fiable et efficace

17/11/2026
La transcription automatique transforme une voix enregistrée en texte à l’aide d’un logiciel de reconnaissance vocale. Elle permet de travailler plus vite sur une interview, une conférence…
Editor listening to a synthesized audio file while annotating a printed manuscript in a sunlit archive room.

Synthèse vocale : transformer un texte en fichier audio

16/11/2026
La synthèse vocale, souvent désignée par l’acronyme TTS, pour Text-to-Speech, transforme un texte écrit en parole produite par un système informatique. Le résultat peut…
Archivist verifying an audio transcription beside a reel-to-reel recorder in a sunlit medina room.

Accents, jargon et noms propres : les pièges de la transcription

16/11/2026
La transcription transforme une parole enregistrée en texte lisible. Elle doit restituer un contenu, mais aussi préserver des indices essentiels : une prononciation, un niveau de langue, un nom…