Adapter les modèles de langage pour qu'ils opèrent directement sur des octets

Un article de Nature, relayé sur Hacker News, présente une approche de « retrofitting » visant à adapter des modèles de langage préentraînés pour qu'ils traitent directement des séquences d'octets. L'objectif est de s'affranchir des tokenizers traditionnels et de leurs limites (langues rares, robustesse, formats hétérogènes). Les détails des résultats et des benchmarks ne figurent pas dans l'extrait fourni.