Toutes les news taguées avec ce sujet.
Une étude contrôlée montre que reformuler les connaissances, plutôt que les répéter, aide les LLM à mieux apprendre pendant le pré-entraînement.
32 GPT-2 entraînés pour mesurer l'effet réel d'une seule ligne injectée dans un batch : appris en un coup, oublié en quelques centaines de pas.
Une nouvelle collection de corpus textuels massifs pour le pré-entraînement.