Un circuit pour l'apprentissage en contexte (in-context learning)

L'étude détaille la composition d'un circuit d'ICL pour la classification de phrases few-shot avec labels arbitraires, dans trois transformers de 3 à 4 milliards de paramètres. Le modèle implémente une mémoire clé-valeur sur les positions des tokens de label, lue par des têtes d'attention de couches supérieures. Chaque étape est établie causalement (activation patching, ablations de têtes, steering). Le calcul est conservé entre les trois modèles et un transformer entraîné from scratch développe les mêmes composants.