Toutes les news taguées avec ce sujet.
Une étude révèle que les neurones partagés entre modèles deviennent plus monosémantiques à mesure que la taille augmente, esquissant une loi d'échelle pour l'interprétabilité.
Vlad Feinberg (Google) publie ses conseils détaillés pour intégrer un lab frontier, avec un focus sur le pretraining, les kernels et les lois de scaling.
Une étude sur 38 modèles montre que la précision factuelle des LLM dépend conjointement de la taille du modèle et de la fréquence du sujet dans les données d'entraînement.