Au-delà des SAE : découverte cohérente de concepts par codage parcimonieux

Les sparse autoencoders (SAE) décomposent les activations des modèles de fondation en combinaisons parcimonieuses d'atomes de dictionnaire, mais ces dictionnaires varient selon les entraînements. ConSDL (Consistent Sparse Dictionary Learning) remplace l'encodeur linéaire par un sparse coding par échantillon. Sur 16 configurations synthétiques, la méthode atteint une récupération quasi parfaite. Sur quatre contextes vision et langage, elle améliore la cohérence des dictionnaires de 17,6 % et celle des coefficients de 35,9 % par rapport à la moyenne de six baselines SAE.