Toutes les news taguées avec ce sujet.
Une étude contrôlée montre que reformuler les connaissances, plutôt que les répéter, aide les LLM à mieux apprendre pendant le pré-entraînement.
32 GPT-2 entraînés pour mesurer l'effet réel d'une seule ligne injectée dans un batch : appris en un coup, oublié en quelques centaines de pas.
Une étude montre que les ensembles de latents actifs des SAE ne reflètent pas mieux les catégories humaines que les embeddings denses classiques.