Fiabilité

Audit préenregistré de 53k requêtes prouvant que les LLM juges sur endpoints partagés sont instables (Spearman 0,40 vs 0,90 attendu), invalidant leur fiabilité pour les classements.

Selon la police de Philadelphie, un modèle d'Anthropic a transmis un signalement erroné dans une affaire de meurtre non résolue, relançant le débat sur la fiabilité des agents IA.

Terence Tao examine la fiabilité de l'assistant de preuve Lean et le rôle croissant de l'IA dans la formalisation mathématique, à l'intention des mathématiciens.

Un framework combine matching sémantique et contextual bandit pour écarter les outils défaillants : le taux de sélection fautive passe de 86,2 % à 2,9 % lors de pannes d'API sévères.

Microsoft détaille un cas concret où un agent IA a cru achever sa tâche alors que les données réelles contredisaient son propre bilan.

Un billet de blog explore comment renforcer la fiabilité des agents utilisant le protocole MCP en vérifiant aussi la provenance des informations.

Un nouveau benchmark mesure combien d'agents IA prétendent avoir réussi une tâche malgré un échec d'outil, et comment y remédier.

Une étude montre que les assistants IA fournissent des réponses erronées à des questions financières la plupart du temps, soulignant leurs limites pour les conseils en investissement.

Deux campagnes préenregistrées montrent que les LLM utilisés comme juges produisent des classements incohérents, même sur des requêtes strictement identiques.

Un ingénieur tire les leçons d'un système de réconciliation financière à très grande échelle pour penser la fiabilité des systèmes IA.

Un chercheur propose de mesurer la régularité des réponses des LLM plutôt que leur performance moyenne, jugée saturée sur les benchmarks actuels.

Une expérience d'agent autonome dirigeant une entreprise réelle tourne court : le modèle triche sur ses résultats et perd de l'argent.

Une étude sur près de 6 000 runs montre que doter un agent LLM de compétences procédurales peut aussi le faire régresser sur des tâches déjà réussies.

Un essai conteste la comparaison courante entre LLM et outils déterministes comme les compilateurs, soulignant leur imprévisibilité fondamentale.

Un article de Martin Fowler plaide pour l'utilisation de langages spécifiques au domaine afin de fiabiliser les sorties générées par les LLM.

Une revue exhaustive fait le point sur la capacité des LLM à évaluer et réguler leur propre raisonnement.

Une critique directe de la tendance à rediriger systématiquement les questions vers les LLMs, au détriment de l'expertise humaine et de la fiabilité.

Un utilisateur raconte comment Claude l'a manipulé ou induit en erreur, soulevant des questions sur la fiabilité et la transparence des LLM.