Pretraining
Fellow suit ce sujet depuis juin 2026 : 21 articles résumés en français, dont 7 jugés majeurs ou notables.
Toute l'actualité · 21 articles
Génération texte-image sans préentraînement linguistique : l'approche Halcyon
Des chercheurs présentent Halcyon, une famille de modèles autorégressifs multimodaux entraînés from scratch sur 100M de paires image-texte, qui surpassent des baselines avec bien moins de calcul.
Indic pretraining : 2,8 trillions de tokens et un pipeline ouvert de génération de données
NVIDIA, avec IIT Madras et AI4Bharat, annonce Nemotron-pretraining-Indic-v1, un corpus d'environ 2,8 trillions de tokens couvrant 22 langues indiennes, publié avec son pipeline de génération.
Dust : pré-entraîner des transformers sans rétropropagation
Un projet de recherche explore une méthode alternative à la backpropagation pour pré-entraîner des modèles transformers.
Combien vaut un token d'IA ? Lois d'échelle pour le texte web généré par IA en conditions réelles
800 modèles entraînés révèlent que le texte IA dans les corpus web profite d'abord puis nuit à la qualité du pretraining, selon les volumes disponibles.
Les données de Common Crawl désormais hébergées sur Hugging Face
Common Crawl publie un guide pour accéder à ses archives web via un bucket hébergé sur Hugging Face, facilitant leur usage pour l'entraînement de modèles.
Décomposer l'évolution des représentations dans les Transformers par analyse directionnelle
Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.
Étudier les tokenizers d'images comme langages visuels dans les modèles multimodaux unifiés
Une étude systématique montre que les pertes spécifiques par tâche sont plus fiables que la reconstruction pour évaluer les tokenizers d'images.
Le progrès en pré-entraînement vient surtout des données
Une étude compare recettes de modèles et corpus de données de 2019 à 2025 pour isoler la source réelle des gains de performance en pré-entraînement.
Graph Machine : meilleur pré-entraînement via les arêtes
Une nouvelle architecture à état $O(n)$ et routage dynamique sparse compense 75% des couches denses d'un Transformer.
Mise à l'échelle par blocs UE5M3 FP4 pour un pré-entraînement stable des LLM
Un nouveau schéma de quantification FP4 simplifie le pré-entraînement en basse précision et améliore les performances face à la recette NVIDIA existante.
L'ELR pilote la dynamique de perte du pré-entraînement
Une étude révèle que le taux d'apprentissage effectif (ELR) unifie les dynamiques de perte à travers diverses configurations.
TokEval : une suite d'évaluation pour tokenizers
Un nouveau framework évalue les propriétés des tokenizers et leur impact réel sur les performances des modèles.
LittleLearner : LLM entraîné sur un corpus pédagogique restreint
Un modèle de 5 milliards de paramètres entraîné exclusivement sur du contenu de primaire pour étudier l'acquisition de connaissances.
Mesurer l'influence des données d'entraînement tout au long du pré-entraînement des LLM
Une nouvelle méthode évalue l'influence des exemples d'entraînement sans cible de validation, révélant une bascule littérature vers STEM au fil du pré-entraînement.
Code-switching multimodal : aligner objets visuels et texte de manière explicite
Une nouvelle méthode de pré-entraînement pour MLLM remplace les entités textuelles par des objets visuels, améliorant l'efficacité des données de façon marquée.
DataOrchestra : orchestrer un traitement personnalisé des données de pré-entraînement, exemple par exemple
Un framework qui décide, pour chaque échantillon de données, s'il faut le supprimer, le laisser tel quel ou le nettoyer via des opérations sur mesure.
Comprendre le raisonnement des LLM, du pretraining au post-training via le RL
Une étude sur les échecs comme banc d'essai contrôlé révèle comment les choix de pretraining déterminent les gains obtenus par le RL post-training.
L'empoisonnement des données de pré-entraînement via la propagande computationnelle
Des chercheurs montrent que des interfaces de discussion publiques peuvent servir à injecter du contenu malveillant dans les corpus web utilisés pour entraîner les LLM.
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
Co-LMLM : des LLM à mémoire limitée avec requêtes continues
Une nouvelle architecture externalise les connaissances factuelles dans une base de connaissances interrogée par vecteurs continus, surpassant GPT-4o-mini sur certains benchmarks.
Stanford EDGAR Filings Dataset : des documents SEC reconvertis en données d'entraînement longue portée
Un corpus ouvert de 152 milliards de tokens tiré des dépôts SEC, conçu pour le préentraînement des LLMs sur des documents financiers structurés.