Au-delà du budget fixe : régulariseurs de sparsité pour des autoencodeurs Top-k plus interprétables

Les sparse autoencoders (SAEs) Top-k imposent la sparsité architecturalement en ne conservant que les k latents les plus actifs par entrée, mais souffrent d'un budget k fixe indépendant de la complexité de l'input. Les auteurs introduisent deux régulariseurs compatibles avec cette architecture : une pénalité ℓ1 sur les unités non sélectionnées et une pénalité ℓ1/ℓ2 scale-invariant concentrant le code sur moins d'unités effectives. Testés sur deux datasets et trois modèles de vision, les deux approches améliorent la monosémantique sans coût en qualité de reconstruction.