Évaluation des modèles
Fellow suit ce sujet depuis mai 2026 : 160 articles résumés en français, dont 40 jugés majeurs ou notables.
Toute l'actualité · 160 articles
L'illusion d'équivalence : effets comportementaux de la quantization des LLM
La précision et la perplexité ne suffisent pas à évaluer la quantization : une nouvelle métrique comportementale révèle des divergences invisibles.
Processus de test agentiques, benchmarks LLM et notes sur le coding agentique
Une analyse approfondie des benchmarks LLM appliqués au coding agentique, de leur variance et de leurs limites méthodologiques.
OpenAI met en évidence des problèmes de fiabilité dans SWE-Bench Pro
Une analyse d'OpenAI pointe des défauts dans SWE-Bench Pro, benchmark de référence pour évaluer les capacités de codage des modèles IA.
Biais politiques dans les modèles d'IA : un comparatif des grandes plateformes
Une analyse cartographie les orientations politiques de plusieurs grands modèles d'IA, mettant en lumière des biais systématiques dans leurs réponses.
Ce que l'on ressent en travaillant avec Mythos (Claude 5 Fable)
Ethan Mollick a eu accès en avant-première à Claude 5 Fable et livre ses impressions : un bond qualitatif significatif sur l'ensemble des tâches testées.
FutureSim : rejouer des événements réels pour évaluer l'adaptation des agents IA
Un nouveau benchmark rejoue chronologiquement des actualités réelles pour tester la capacité des agents à prédire des événements au-delà de leur knowledge cutoff.
La "loterie du FID" : quantifier le hasard caché dans l'évaluation des modèles génératifs
Kyutai montre que la métrique FID, très utilisée pour juger les modèles génératifs, cache une variance importante liée au hasard de l'entraînement.
Pleias publie des annotations pour le benchmark HellaSwag
Un nouveau jeu de données d'annotations vient enrichir HellaSwag, benchmark classique d'évaluation du raisonnement de sens commun.
Pleias publie GoldenSwag, une collection de benchmarks sur Hugging Face
Le laboratoire français Pleias met en ligne GoldenSwag, une nouvelle collection destinée à l'évaluation des modèles de langage.
Pleias lance la collection GoldenSwag
Une nouvelle ressource dédiée à l'évaluation et à la validation de modèles.