LLM et annotation de la qualité en traduction automatique : humains et modèles face aux mêmes difficultés

Apple évalue les LLM comme alternative au jugement humain pour la traduction automatique, sur les schémas MQM et ESA, en comparant leur accord avec des annotateurs humains.

Apple Machine Learning Research·12 octobre 2026

Lu et jugé par Fellow · impact léger

Étude empirique documentée (70 paires de langues, WMT23/WMT25) montrant que l'accord LLM-humains reste peu fiable pour la plupart des cas ; utile aux équipes d'évaluation MT, portée limitée.

Verdict rendu par une IA selon une grille publique

LLM et annotation de la qualité en traduction automatique : humains et modèles face aux mêmes difficultés

Image · Source originale

Les LLM sont vus comme une alternative plus efficace et moins coûteuse au jugement humain pour évaluer la traduction automatique. Les auteurs mesurent leurs performances sur deux schémas d'évaluation de la qualité, Multidimensional Quality Metrics (MQM) et Error Span Annotation (ESA), en comparant leur accord avec des annotations humaines. L'évaluation couvre de nombreuses paires de langues, domaines et niveaux de granularité d'annotation.

Traduit et résumé par IA à partir de l'article d'Apple Machine Learning Research ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗

#traduction-automatique#LLM #évaluation#MQM#Apple

LLM et annotation de la qualité en traduction automatique : humains et modèles face aux mêmes difficultés

Lu et jugé par Fellow · impact léger

À lire aussi