Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


OUTILS
OUTILVerdict : léger

DeepSeek V3 en environ 200 lignes de JAX pur

Un développeur réimplémente l'architecture de DeepSeek-V3 en 190 lignes de JAX, sans Flax ni PyTorch, et l'entraîne de zéro sur un MacBook Air avec de la fiction policière du domaine public.

Vaibhaav-Tiwari sur GitHub·repéré via Hacker News·14 novembre 2026

Lu et jugé par Fellow · impact léger

Implémentation pédagogique de l'architecture DeepSeek-V3 en JAX (36,2M paramètres, code et checkpoint publiés, reproductible), mais démo d'architecture sans portée pratique au-delà de l'apprentissage.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Le dépôt reprend l'architecture du rapport technique DeepSeek-V3 : Multi-head Latent Attention, RoPE découplé, DeepSeekMoE, équilibrage sans loss auxiliaire et multi-token prediction. Le modèle compte 36,2M de paramètres (13,6M actifs par token), entraîné en environ 2,6 h sur un MacBook Air M5. L'équilibrage par biais uniformise la charge des experts sans dégrader la validation loss (3,921 contre 3,923). L'auteur précise qu'il s'agit d'une démo d'architecture, pas d'un modèle performant.

Traduit et résumé par IA à partir de la page source ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#deepseek-v3#jax#moe#open-source#mla

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi