Les LLM comparent les quantités par heuristiques sur les nombres et les unités

Des chercheurs ont étudié comment les modèles de langage comparent des quantités avec unités de mesure (ex. 110 cm vs 1.2 m). Les résultats montrent que la précision chute près des seuils de comparaison, et que des modèles linéaires suffisent à prédire les préférences des LM à partir de différences numériques et d'échelles d'unités. Les LM sembleraient ainsi opérer par un ensemble d'heuristiques sur les numéraux et les unités, plutôt que par conversion vers une représentation commune exacte.