Des réseaux de neurones plus humains par la méthode de la catapulte

L'article de Gwern examine le phénomène du « catapulting » lors de l'entraînement des réseaux de neurones profonds : une phase de transition dynamique où le modèle échappe aux minima locaux pour atteindre des solutions plus généralisables. L'auteur relie ce mécanisme à l'apparition de représentations internes similaires à celles observées dans la cognition humaine. Il propose que ce régime d'entraînement pourrait être une clé pour comprendre pourquoi les LLMs développent des capacités émergentes inattendues.