Vers l'interprétation de toute direction du residual stream par inversion d'activations à grande échelle

Les Maximally-Activating Example Metamodels (MAEMs) sont des modèles de langage qui associent une direction du residual stream d'un modèle sujet à des exemples de texte l'activant fortement. L'entraînement maximise la similarité cosinus avec la direction fournie, via un objectif RL sans label. Un MAEM Qwen3.6-27B inverse mieux les activations que la recherche en corpus ou un natural-language autoencoder, active 89 % des features SAE écartées et retrouve des payloads de backdoors LoRA. Ses exemples sont vérifiables par un forward pass sur le modèle sujet.