Repenser les Neural Thickets sans perturbation des poids

L'hypothèse des Neural Thickets postule que les modèles pré-entraînés sont entourés d'experts spécialisés, révélés par des perturbations gaussiennes des poids. Les auteurs reproduisent les gains, mais montrent qu'un biais aléatoire sur les logits d'un modèle gelé égale ou dépasse les perturbations complètes sur la plupart des tâches de raisonnement. Ils formalisent la procédure Perturb-Select-Vote (PSV), liée au sampling et à la self-consistency, et l'étendent à la vision, notamment sous domain shift.