Entraînement
Fellow suit ce sujet depuis avril 2026 : 14 articles résumés en français, dont 3 jugés majeurs ou notables.
Toute l'actualité · 14 articles
Les LLM peuvent-ils se re-concevoir eux-mêmes pendant leur entraînement ?
DoubleAI place un agent IA au cœur de l'entraînement d'un réseau de neurones : il lit l'état interne du modèle et en modifie données, objectif, règle de mise à jour ou architecture.
Le guide d'entraînement des MoE publié par Hugging Face
Hugging Face met en ligne, sous forme d'espace dédié, un manuel consacré à l'entraînement des modèles MoE (Mixture of Experts), partagé sur Hacker News.
Microsoft ouvre le code de DACS : les blocages de chargement de données passent de 14 % à 0,1 %
Microsoft publie en open source DACS, un accélérateur distribué pour le stockage cloud destiné à l'inférence et à l'entraînement, et fait état de blocages de chargement ramenés de 14 % à 0,1 %.
Donner un retour sur un chat transmet vos données à Anthropic
Selon la page de confidentialité d'Anthropic, un clic sur pouce haut/bas peut conduire à stocker la conversation entière jusqu'à 5 ans et à l'utiliser pour entraîner les modèles.
Passer à l'échelle les minibatches d'optimal transport en ligne pour le flow matching
Des chercheurs proposent une approximation entropique d'OT en ligne permettant de coupler de bien plus gros minibatches, avec garanties théoriques sur la variance du gradient et l'erreur d'intégration.
Show HN : TurboGPT, entraîner un transformer de 22 Kio en 13 secondes
Un projet open source montre comment entraîner un mini-transformer minimaliste extrêmement rapidement, à titre pédagogique ou expérimental.
DeepSeek dévoile DSec, un système de calcul élastique pour l'entraînement de modèles
Un nouveau papier de DeepSeek décrit une architecture permettant d'ajuster dynamiquement les ressources de calcul lors de l'entraînement de grands modèles.
NVIDIA accélère l'entraînement dropless des modèles MoE dans JAX avec Transformer Engine
NVIDIA détaille une optimisation technique pour entraîner des modèles Mixture of Experts sans perte de tokens, via son Transformer Engine intégré à JAX.
NanoGPT Speedrun : la frontière des records d'entraînement rapide
Prime Intellect documente les progrès de la communauté sur le speedrun NanoGPT, un défi d'optimisation d'entraînement de LLM.
Réduire les goulots d'étranglement HBM dans l'entraînement LLM sous JAX avec le host offloading
NVIDIA détaille comment le host offloading permet de dépasser les limites de mémoire HBM des GPU lors de l'entraînement de LLM avec JAX.
H Company traque les fuites de mémoire GPU dans l'entraînement de modèles IA
Un billet technique détaille la chasse aux « fantômes VRAM », ces fuites de mémoire GPU qui plombent l'entraînement des modèles.
VRAM Ghost Busting : traquer les fuites de mémoire GPU
H Company détaille des techniques pour diagnostiquer et corriger les fuites de VRAM lors de l'entraînement de modèles d'IA.
OpenAI dévoile son architecture réseau pour superordinateurs d'entraînement IA à grande échelle
OpenAI publie les détails de son infrastructure réseau haute performance conçue pour accélérer l'entraînement de modèles d'IA à très grande échelle.
Granite 4.1 : architecture et méthodes de construction des LLM d'IBM
IBM détaille sur le blog Hugging Face la conception technique de sa nouvelle famille de modèles Granite 4.1, entre choix d'architecture et pipeline d'entraînement.