Weighted State Souping : une récupération efficace en contexte long pour les SSM
Apple présente Weighted State Souping, une approche qui prolonge le state souping des modèles à espace d'états pour mieux traiter les contextes longs et chargés.
Lu et jugé par Fellow · impact léger
Papier d'atelier NeurIPS (PALM) proposant une méthode incrémentale pour les SSM en contexte long, avec résultats annoncés mais sans modèle ni code disponible, portée limitée à la recherche.

Traduit et résumé par IA à partir de l'article d'Apple Machine Learning Research ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- LLM et annotation de la qualité en traduction automatique : humains et modèles face aux mêmes difficultésApple · 12 octobre 2026
- Mélanger plutôt que régler : le pré-entraînement bilingue surpasse la recherche d'hyperparamètres en contexte de données limitéesApple · 13 octobre 2026
- Planifier ou récupérer d'abord ? Étude à grande échelle des architectures de découverte d'outilsApple · 15 octobre 2026
- MeClear : attribution coopérative et nettoyage de mémoire pour agents LLM long terme8 septembre 2026
- Proteus : activation mémoire incrémentale pour le long contexte17 août 2026
- Step 5 Preview, un MoE à 1M de contexte de StepFun, apparaît sur OpenRouter8 octobre 2026