Contexte long

Poids 8B et 70B réellement publiés sous Apache 2.0, avec multimodalité, mode thinking, contexte 262k, données, recettes et évaluations reproductibles documentées.

Des chercheurs proposent LongZero, une méthode où un LLM améliore seul son raisonnement sur contexte long, sans corpus externe ni modèle enseignant, via GRPO.

KronLSTM, nouvelle architecture d'attention linéaire de la famille xLSTM, révise la mémoire associative selon une seule direction pour limiter les interférences sur les contextes longs.

Un nouveau benchmark de 4 102 cas mesure la fidélité de la compression de contexte : même les meilleurs modèles ne conservent toutes les preuves requises que dans environ deux tiers des cas.

Des chercheurs présentent MemT-1.0, une architecture de modèles de fondation qui intègre la mémoire au calcul du modèle, avec deux modèles publiés : MemT-1.0-Nano et MemT-1.0-Flash.

Le projet suisse Apertus étend ses modèles 8B et 70B avec la compréhension d'images et d'audio, un mode de réflexion optionnel et un contexte quatre fois plus long, sous licence Apache 2.0.

Des chercheurs proposent d'apprendre un cache KV compact propre à chaque document via test-time training, avec 96,7 % de précision sur RULER à 32× de compression.

Le laboratoire chinois StepFun dévoile discrètement Step 5 Preview, un modèle MoE avec une fenêtre de contexte d'un million de tokens, désormais accessible via l'agrégateur OpenRouter.

Un nouveau benchmark révèle que l'efficacité, pas seulement la précision, distingue vraiment les harnais pour LLM en contexte long.

Apple publie un modèle vision-langage qui encode les documents comme des images compressées, réduisant le coût du traitement de longs contextes.

Les LLM long-context perdent le focus au-delà de la distance : c'est la concurrence du bruit de fond proximal qui écrase l'attention. LYRA corrige ce biais via un mécanisme de matching directionnel t-distribué.

Un nouveau cadre sans entraînement transforme le traitement du contexte long en convolution hiérarchique, réduisant latence et risque de surapprentissage.

Une nouvelle méthode CST permet aux modèles récurrents de généraliser à des contextes bien plus longs que ceux utilisés lors de l'entraînement.

Un nouveau framework identifie et neutralise les souvenirs nuisibles dans la mémoire des agents LLM, sans les supprimer définitivement.

Une étude montre que les LLM peuvent récupérer une information financière avec précision sans que celle-ci influence réellement leur jugement d'investissement.

Une nouvelle méthode TTT par blocs concilie expressivité dynamique et parallélisation matériel, tout en améliorant l'extrapolation de longueur.

Une nouvelle méthode régulant la capacité mémoire dynamique pour améliorer le traitement de longues séquences.

Une méthode de réutilisation de cache fine-grained pour optimiser l'efficacité et la précision du RAG.

Un pipeline d'ingénierie de contexte et des modèles LLM open-weights performants pour le code longue portée.

Une méthode d'infrastructure découpe le raisonnement long en étapes indépendantes pour limiter la propagation d'erreurs.

Face à la montée des workloads agentiques et à contexte long, NVIDIA plaide pour une co-conception de l'attention et du hardware GPU.

Une méthode qui combine cache principal exact et cache résiduel compact pour limiter les pertes d'information lors de la compression du KV cache en contexte long.

Hugging Face publie LFM2.5-Encoders, une solution optimisée pour le traitement de contextes longs.

Une étude identifie un défaut fréquent des LLM en contexte long : recopier le texte source au lieu de raisonner, et propose une méthode de RL pour y remédier.

Un modèle robotique étend le contexte visuomoteur à 8 000 pas de temps grâce au Test-Time Training, sans alourdir la latence d'inférence.

Des chercheurs identifient pourquoi certaines méthodes de linéarisation préservent mieux la qualité des LLMs, avec des résultats probants jusqu'à 32B paramètres.

Une nouvelle méthode réduit jusqu'à 8,3× la mémoire du cache KV des LLMs en contexte long, sans réentraîner le modèle de base.

Une nouvelle méthode de compression du cache KV à l'inférence divise les états en composantes basse fréquence partagées et résidus haute fréquence, sans réentraînement.

Un corpus ouvert de 152 milliards de tokens tiré des dépôts SEC, conçu pour le préentraînement des LLMs sur des documents financiers structurés.