Les LLM sont-ils vraiment capables de raisonner en probabilités ?

Des chercheurs ont évalué 8 LLM de pointe sur deux ensembles de problèmes de probabilité discrète : des exercices standards et des exercices contre-intuitifs conçus pour déclencher un raisonnement heuristique. Si les modèles atteignent 96 % de précision sur les problèmes standards, ils chutent à 59 % sur les problèmes contre-intuitifs. L'étude met aussi en évidence un biais de token : reformuler les énoncés réduit les performances de plus de 20 %, et l'insertion de suggestions trompeuses dans le prompt provoque une baisse allant jusqu'à 34 %. Conclusion : les LLM actuels ne sont pas de véritables raisonneurs probabilistes.