Le contexte de la tâche façonne le rôle des composants dans les modèles de langage

Les auteurs comparent des composants fixes de LLM entre tâches à partir de faits de graphe identiques, en mesurant l'influence et l'importance des interventions sur les têtes d'attention. Dans cinq modèles open-weights (1,5 à 14 milliards de paramètres), le changement de tâche redistribue l'influence. Sur Gemma-2-9B et Qwen3-14B, une édition d'activation modifie le fait lu par le modèle. Les cartes de réponse linéaires conditionnelles réduisent l'erreur quadratique moyenne de 53,6 % (Gemma) et 5,0 % (Qwen).