RECHERCHE
PAPIERVerdict : légerLast Translation Benchmark : un test évolutif pour piéger les modèles de traduction automatique
Un nouveau benchmark collaboratif rassemble des exemples multimodaux conçus pour faire échouer les meilleurs systèmes de traduction actuels.
arXiv·Vilém Zouhar, Niyati Bafna, Mukund Choudhary, Maike Züfle·3 septembre 2026
Lu et jugé par Fellow · impact léger
Nouveau benchmark collaboratif proposé, sans résultats de test sur des modèles ni classement encore publiés dans l'extrait disponible.

Image · Source originale
Face à la saturation des benchmarks classiques et aux limites des métriques automatiques et de l'évaluation humaine, des chercheurs proposent le Last Translation Benchmark. Ce jeu de données évolutif compile des exemples textuels, visuels, audio et vidéo rédigés par des humains et revus par des pairs, accompagnés de règles de vérification précises pour chaque cas d'échec. La première version, LTBv1, intègre les contributions validées avant septembre 2026, avec des mises à jour continues prévues.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- ProteinGeoBench : les agents de biologie structurale de pointe excellent en recherche d'information mais échouent en géométrie19 octobre 2026
- KEEP-Bench : évaluer la préservation des preuves dans la compression de contexte19 octobre 2026
- Riches en valeurs, organisées autrement : mesurer l'expression et l'organisation des valeurs dans les débats générés par IA20 octobre 2026
- CordisBench : raisonnement sur cycles de vie d'agents1 septembre 2026
- EarlyEval : réduire le coût de l'évaluation des agents grâce à la prédiction précoce des résultats2 septembre 2026
- Real-SWE : benchmark IA sur code d'entreprise privé12 septembre 2026