Scaling laws
Fellow suit ce sujet depuis juillet 2026 : 15 articles résumés en français, dont 8 jugés majeurs ou notables.
Toute l'actualité · 15 articles
Apprentissage de représentations génératif pour une tokenisation latente scalable
Des chercheurs proposent un objectif auto-supervisé fondé sur l'information mutuelle ponctuelle, conçu pour servir de tokenizer en génération et éviter l'effondrement dimensionnel.
L'espace de conception des modèles de diffusion masquée tri-modaux
Apple présente les premiers Masked Diffusion Models tri-modaux préentraînés from scratch sur texte, image-texte et audio-texte, avec une analyse systématique des choix de conception.
RoboJEPA : des lois d'échelle pour les modèles de monde robotiques multi-embodiments
Des chercheurs établissent les premières lois d'échelle pour les modèles de monde robotiques entraînés sur données réelles, avec un modèle à 8 milliards de paramètres déployé zero-shot sur du matériel physique.
Des lois d'échelle pour les Mixture-of-Experts en boucle
Une nouvelle loi d'échelle modélise conjointement récurrence et sparsité, et prédit plus finement les performances des modèles MoE bouclés.
Combien vaut un token d'IA ? Lois d'échelle pour le texte web généré par IA en conditions réelles
800 modèles entraînés révèlent que le texte IA dans les corpus web profite d'abord puis nuit à la qualité du pretraining, selon les volumes disponibles.
Croissance de modèle, récursion et opérateurs de bordure : leviers pour changer les exposants d'échelle
Des interventions architecturales permettraient de modifier les lois d'échelle, avec des gains de calcul croissants selon la taille du modèle.
Le progrès en pré-entraînement vient surtout des données
Une étude compare recettes de modèles et corpus de données de 2019 à 2025 pour isoler la source réelle des gains de performance en pré-entraînement.
Des foundation models pour la physique, pas seulement le langage
Anima Anandkumar explique pourquoi l'IA pour les systèmes physiques nécessite des approches distinctes des LLM.
L'ELR pilote la dynamique de perte du pré-entraînement
Une étude révèle que le taux d'apprentissage effectif (ELR) unifie les dynamiques de perte à travers diverses configurations.
Allocation asymétrique de capacité dans les pipelines d'auto-raffinement
Une étude inédite montre que la taille des modèles doit varier selon les étapes de critique, de génération et de révision.
Jie Tang (Z.ai) : la fin des paramètres et lois de post-training
Le CEO de Z.ai explique pourquoi le nombre de paramètres ne suffit plus et présente GLM 5.3.
Optimiser le compute n'est pas la même chose qu'optimiser le cluster
Un billet technique distingue l'optimalité théorique du compute (à la Chinchilla) des contraintes réelles d'un cluster de calcul.
Xaira Therapeutics : la causalité comme clé de la découverte de médicaments
Xaira présente son modèle X-Cell : une approche des données causales pour surpasser les limites de scaling en biologie.
Le sur-apprentissage comme voie vers l'IA humanoïde
Une analyse théorique suggère que le sur-apprentissage excessif pourrait être clé pour atteindre des capacités humaines.
Comprendre le raisonnement des LLM, du pretraining au post-training via le RL
Une étude sur les échecs comme banc d'essai contrôlé révèle comment les choix de pretraining déterminent les gains obtenus par le RL post-training.