Agnosticisme linguistique des function vectors : étude de cas en traduction automatique

Les function vectors (FVs), représentations vectorielles de tâches extraites des activations d'un modèle en in-context learning, s'avèrent partiellement language-agnostic. Sur trois LLMs décodeurs multilingues, des FVs de traduction extraits depuis l'anglais vers une langue cible améliorent systématiquement le rang des tokens corrects pour d'autres langues non vues. Les FVs de modèles de base se transfèrent aux variantes instruction-tuned et généralisent partiellement du niveau mot au niveau phrase.