Identification et amplification de neurones dans l'encodeur pour améliorer la perception acoustique des modèles audio-langage

IAAN identifie, sans étiquette ni réentraînement, les neurones de l'encodeur audio les plus sensibles à l'information acoustique réelle en contrastant leur activation sur un signal réel et sur un bruit de référence. L'amplification de ces neurones améliore la précision moyenne de 25,7 points sur Audio-Flamingo-3, 21,4 sur Qwen2.5-Omni et 9,7 sur Kimi-Audio pour dix attributs non sémantiques de la parole. Les expériences montrent que l'intervention doit cibler l'encodeur et des neurones spécifiques : intervenir après l'encodeur ou dans le modèle de langage apporte peu ou pas d'amélioration.