Étude empirique des capacités d'apprentissage en contexte des Transformers

Des chercheurs mènent une étude empirique approfondie de l'in-context learning (ICL) sur des tâches de classification binaire à mélanges gaussiens. Ils examinent comment la précision dépend de la dimension des entrées, du nombre d'exemples en contexte et du nombre de tâches de pré-entraînement. L'étude caractérise également l'émergence du « benign overfitting », où le modèle mémorise des labels bruités tout en conservant de bonnes performances sur des données propres.