Attractor Models : des Transformers itératifs pour le langage et le raisonnement

Les Attractor Models proposent un module backbone qui génère des embeddings, affinés par un module attractor résolvant un point fixe via différentiation implicite. La mémoire d'entraînement reste constante quelle que soit la profondeur effective, et le nombre d'itérations s'adapte à la convergence. Sur le préentraînement, un modèle 770M surpasse un Transformer 1,3B entraîné sur deux fois plus de tokens. Sur des tâches de raisonnement, un modèle de 27M paramètres atteint 91,4 % sur Sudoku-Extreme, là où Claude et GPT o3 échouent.