Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE
Verdict : léger

À quoi ressemblent des milliers de conversations à l'intérieur d'un modèle de langage

Un atlas interactif cartographie les représentations internes de Qwen3-1.7B pour des conversations en anglais, chinois, allemand et croate, ainsi que des exemples de code.

operator0x.com·repéré via Hacker News·13 novembre 2026

Lu et jugé par Fellow · impact léger

Exploration interprétative avec chiffres précis (99,3 % de variance, 264 571 états) sur un petit modèle et un échantillon construit, sans portée directe, résultats prudents sans conclusion généralisable.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
À quoi ressemblent des milliers de conversations à l'intérieur d'un modèle de langage
Image · Source originale
L'auteur construit un atlas interactif des représentations internes de Qwen3-1.7B à partir du residual stream, où chaque position de token porte un vecteur de 2 048 valeurs. Il part de 100 sujets déclinés en questions-réponses en anglais, chinois, allemand et croate, plus un jeu d'exemples de code. Une première visualisation projette en 3D les 151 936 embeddings du vocabulaire.

Traduit et résumé par IA à partir de l'article d'operator0x.com ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#interprétabilité#qwen3#residual-stream#embeddings#visualisation

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi