Des contraintes de mémoire de travail améliorent l'apprentissage des Transformers en données limitées

Des chercheurs ont intégré des contraintes de mémoire de travail humaine dans l'architecture Transformer via des variantes d'attention à fenêtre fixe et à décroissance temporelle. Des modèles GPT-2 entraînés de zéro sur des corpus réduits (10M et 100M mots) montrent une meilleure précision grammaticale sur le benchmark BLiMP et une plus forte corrélation avec les temps de lecture humains. Ces contraintes cognitives agissent comme un biais inductif bénéfique, particulièrement en situation de pénurie de données.