SAFETY
PAPIERLes réseaux de neurones sont déjà « propres » : relecture de la polysémanticité et de la superposition
Un chercheur de Goodfire soutient que la polysémanticité a été mal interprétée : les mécanismes propres d'un réseau seraient lisibles, ce qui rouvre la voie à l'interprétabilité mécaniste directe.
Lu et jugé par Fellow · impact notable
Revue critique argumentée par un chercheur de Goodfire, avec chiffres (99-100 % de neurones lisibles, ~90 % sur Qwen3-32B) mais audits préliminaires, sans réplication indépendante ni article compagnon.
Article composé de 2 sources
- already-clean.goodfire.comalready-clean.goodfire.com · source primaire
- Latent Space (Swyx)latent.space → mention
Image · Source originale
L'auteur affirme que les exemples canoniques de polysémanticité et de superposition ont été mal lus : il y voit surtout une « généralisation récursive », moins préoccupante. Pour InceptionV1, la superposition serait une mauvaise explication ; des problèmes d'architecture et des outils faibles auraient rendu les dernières couches incohérentes. Selon lui, on peut étudier les réseaux directement, sans passer d'abord par des décompositions comme les sparse autoencoders.
Traduit et résumé par IA à partir de l'article d'already-clean.goodfire.com ↗ · Comment Fellow travaille
Fiche Muse Spark Open : prix API, sorties et articles
Chaleur 57
Pertinence 55
Nouveauté 72
À lire aussi
- Muse Spark Open : le modèle MoE multimodal open-weight de Meta, à la frontière de l'état de l'artHugging Face · 15 octobre 2026
- Recurrent GNNs avec agrégation par ensemble14 septembre 2026
- Des explications linéaires probabilistes pour rendre les modèles d'IA plus interprétables16 septembre 2026
- Show HN : un outil de visualisation de l'attention des LLM8 septembre 2026
- Définition de la psychose IA : le cas prolifique9 septembre 2026
- MMDiff : Différentiation de modèles multimodaux10 août 2026