olmo-eval : un environnement d'évaluation pour le cycle de développement de modèles

Allen AI présente olmo-eval, un outil d'évaluation pensé pour s'intégrer directement dans la boucle de développement de modèles de langage. La plateforme vise à standardiser et automatiser les évaluations tout au long du cycle d'entraînement, facilitant le suivi des performances sur des benchmarks variés. L'outil s'inscrit dans l'écosystème OLMo, la famille de LLM open-weights d'Allen AI.