RECHERCHE
Apprentissage rapide et lent : vers des LLM à adaptation continue
Un framework « fast-slow » combine mise à jour des paramètres et optimisation du contexte pour rendre les LLM jusqu'à 3× plus efficaces en apprentissage.
arXiv cs.AI · cs.LG · cs.CL·Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez·12 mai 2026
Image · Source originale
Des chercheurs proposent Fast-Slow Training (FST), un cadre combinant l'apprentissage « lent » (mise à jour des poids via RL) et « rapide » (optimisation du contexte en tant que poids temporaires). Cette approche est jusqu'à 3× plus efficace en termes d'échantillons que le RL seul sur des tâches de raisonnement, tout en réduisant jusqu'à 70 % la divergence KL par rapport au modèle de base. FST limite l'oubli catastrophique et préserve la plasticité pour l'adaptation à de nouvelles tâches.
Chaleur 0
Pertinence 72
Nouveauté 74