Évaluer le raisonnement mathématique en dialectes arabes : le benchmark DAR-MGSM

DAR-MGSM est présenté comme le premier benchmark manuellement conçu pour le raisonnement mathématique en arabe dialectal : problèmes à étapes multiples couvrant cinq dialectes et l'arabe standard (MSA), en versions traduite seule et traduite et localisée culturellement. Onze LLM arabes et multilingues sont évalués ; les performances baissent généralement sur la version localisée, avec une sensibilité variable selon les modèles. Une analyse d'interprétabilité mécaniste montre des trajectoires de raisonnement internes distinctes entre les deux versions, même à précision comparable.