RECHERCHE
PAPIERVerdict : légerGénéralisation de distance dans les transformers : l'utilité des PE
Une étude interroge la nécessité des encodages de position pour la généralisation de distance chez les transformers.
arXiv·Daniel Henrik Nevermann, Claudius Gros·10 septembre 2026
Lu et jugé par Fellow · impact léger
Étude théorique sur tâches synthétiques sans implémentation ni benchmark standard.
Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Image · Source originale
Ce papier explore la généralisation de distance, mesurant les performances quand les distances entre tokens varient entre entraînement et inférence, à longueur fixe. Via des tâches de copie synthétiques, les auteurs évaluent l'impact de schémas comme RoPE et ALiBi, la diversité des données et le transfert d'apprentissage.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Repenser l'espace de conception des Diffusion Transformers pixel « vanilla »16 octobre 2026
- TorchNeuron : exécuter des modèles Hugging Face sur AWS Trainium n'a jamais été aussi simpleHugging Face · 19 octobre 2026
- Vous auriez pu inventer les transformers à partir de la mémoire16 octobre 2026
- Backend de modélisation transformers à vitesse native pour vLLMHugging Face · 8 juillet 2026
- État des lieux du Class Activation Mapping en XAI12 août 2026
- Apprentissage du traçage des dualités de Seiberg30 juillet 2026