Au-delà de la langue : améliorer les embeddings multilingues sans entraînement par suppression de sous-espaces de résidus appariés

Cette première étude systématique des embeddings textuels multilingues sans entraînement dans les LLM met en évidence une géométrie dépendante de la langue, où des phrases équivalentes restent mal alignées. PRSR construit des résidus appariés à partir de phrases parallèles, estime des sous-espaces de faible rang par couche et supprime ces composantes dans les états cachés du dernier token. Testée sur plus de 200 évaluations monolingues (18 langues, MTEB et MMTEB) et en bitext mining vers plus de 200 langues, la méthode améliore les baselines sans entraînement.