Pré entraînement
Fellow suit ce sujet depuis juillet 2026 : 9 articles résumés en français, dont 4 jugés majeurs ou notables.
Toute l'actualité · 9 articles
Apprentissage concurrent dans les architectures hybrides
Dans les architectures hybrides, récurrence linéaire et attention softmax se disputent l'apprentissage des mêmes fonctions. Une procédure d'entraînement par étapes est proposée pour y remédier.
Mélanger plutôt que régler : le pré-entraînement bilingue surpasse la recherche d'hyperparamètres en contexte de données limitées
Apple compare deux remèdes à la répétition des données en pré-entraînement : un réglage agressif des hyperparamètres ou le mélange avec une langue auxiliaire riche en ressources.
Arrondi dans l'espace du préconditionneur : repenser la quantification 4 bits des états de l'optimiseur AdamW
Des chercheurs proposent ZIP-SR et ZE-EDEN, deux méthodes de quantification 4 bits des états d'AdamW qui limitent la distorsion du préconditionneur lors du pré-entraînement de LLM de 130M à 2,7B de paramètres.
Pré-entraînement à déterminisme bit-à-bit à grande échelle avec NVIDIA Megatron Core
NVIDIA détaille comment le déterminisme bit-à-bit facilite débogage, validation et reprise reproductible du pré-entraînement de modèles à des milliers de GPU.
Copier l'identique, distiller la différence : comment initialiser les Vision Transformers linéaires
Une étude montre que les poids MLP des ViT Softmax se transfèrent tels quels vers les ViT linéaires, tandis que l'attention doit être distillée pour combler l'écart de performance.
LAION-BVD : un dataset vidéo ouvert de 10 millions d'heures pour le pré-entraînement multimodal
LAION publie 80 millions de vidéos annotées automatiquement, une ressource ouverte massive pour entraîner des modèles vidéo, audio et image.
Explorer les dates de coupure de connaissances et les calendriers de pré-entraînement de Claude et GPT
Une enquête technique qui tente de reconstituer les timelines de pré-entraînement des modèles Claude et GPT à partir de leurs dates de coupure de connaissances.
NVIDIA établit un record mondial de pré-entraînement MoE sur GB300 NVL72
Avec DeepSeek-V3 671B, NVIDIA atteint 1 648 TFLOPs par GPU sur GB300 NVL72, illustrant l'importance croissante de la communication inter-GPU.
Pleias publie Common Corpus, un vaste jeu de données ouvert pour l'entraînement de LLM
Un corpus massif de textes libres de droits, pensé pour entraîner des modèles de langage en toute transparence légale.