Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte
Connexion

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.

Fellow
La veille de l'intelligence artificielle, en français
Rechercher⌘K
RECHERCHE
PAPIERVerdict : léger

Graph Machine : meilleur pré-entraînement via les arêtes

Une nouvelle architecture à état $O(n)$ et routage dynamique sparse compense 75% des couches denses d'un Transformer.

arXiv·Lintai Hou·2 septembre 2026

Lu et jugé par Fellow · impact léger

Étude préliminaire sur un seul petit modèle (0.6B), sans code ni comparaison indépendante à grande échelle.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Graph Machine : meilleur pré-entraînement via les arêtes
Image · Source originale
Le Graph Machine (GM) utilise un routage dynamique sparse et des arêtes differentiables pour maintenir un état de taille $O(n)$. En remplaçant 75% des couches denses de Qwen3-0.6B par des couches GM, le modèle pré-entraîné sur 15,7B tokens maintient la perte avec une retrieval minimale, et l'améliore légèrement en augmentant celle-ci.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#architecture#sparse-models#pretraining#transformers#graph-machine

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi