Les populations de neurones montrent une sélectivité divergente avec la mise à l'échelle

Des chercheurs analysent l'évolution des « Rosetta Neurons » — neurones aux activations similaires entre modèles entraînés indépendamment — dans des LLM jusqu'à 30 milliards de paramètres et des modèles de vision jusqu'à 5 milliards. Leur population croît en valeur absolue mais suit une loi de puissance sous-linéaire, occupant une fraction décroissante du réseau. Un effet de polarisation émerge : ces neurones deviennent plus sélectifs et monosémantiques, tandis qu'une population non-Rosetta reste peu sélective. Ces résultats établissent une loi d'échelle reliant taille du modèle, universalité et spécialisation des neurones.