RECHERCHE
PAPIERLa diversité des types permet aux Transformers de généraliser de façon compositionnelle
Une étude remet en cause l'idée que la généralisation structurelle est intrinsèquement plus difficile que la lexicale pour les Transformers.
arXiv cs.AI · cs.LG · cs.CL·Anssi Moisio, Mathias Creutz, Mikko Kurimo·11 septembre 2026
Lu et jugé par Fellow · impact notable
Étude empirique contrôlée corrélant diversité des types et performance, réfutant une hypothèse admise sur la généralisation.
Image · Source originale
Les auteurs montrent que l'écart de performance observé entre généralisation lexicale et structurelle vient de la diversité des types dans les jeux de données existants, pas d'une limite inhérente aux Transformers. En créant des variantes linguistiquement diversifiées des datasets COGS et SLOG via Grammatical Framework, ils constatent que la diversité de types influence les deux formes de généralisation de manière équivalente, ce qui contredit l'hypothèse antérieure liant la difficulté à la divergence de composés.
Chaleur 0
Pertinence 45
Nouveauté 65