RECHERCHE
Défaillance numérique des encodages positionnels ALiBi
ALiBi souffre d'un biais de linéarité qui sous-charge la précision flottante, aveuglant partiellement les têtes d'attention.
arXiv cs.AI · cs.LG · cs.CL·Christopher Schröder, Lukas Gienapp, Ferdinand Schlatt, Martin Potthast·4 août 2026
Image · Source originale
Cette étude identifie un mode de défaillance des encodages positionnels ALiBi causé par un sous-dépassement de précision flottante, qui annule une fraction des poids d'attention. Les expériences de pré-entraînement révèlent que ce défaut altère la récupération de tokens tout en impactant peu les benchmarks standards. L'analyse propose des stratégies d'atténuation, dont la mise à l'échelle logarithmique des distances.
Chaleur 0
Pertinence 70
Nouveauté 65