Attention
Fellow suit ce sujet depuis juillet 2026 : 20 articles résumés en français, dont 2 jugés majeurs ou notables.
Toute l'actualité · 20 articles
Un réseau d'attention sensible aux arêtes, efficace, pour la génération de graphes
Une couche d'attention modulant les scores par tête et mise en œuvre avec FlexAttention réduit d'environ 65 % la mémoire GPU de pointe pour la génération de graphes, à qualité comparable.
Apprentissage concurrent dans les architectures hybrides
Dans les architectures hybrides, récurrence linéaire et attention softmax se disputent l'apprentissage des mêmes fonctions. Une procédure d'entraînement par étapes est proposée pour y remédier.
Continuum Attention : une attention causale par intégration sur une courbe mémoire continue
Un nouvel opérateur d'attention remplace la recherche discrète de clés et valeurs par une intégration sur une courbe linéaire par morceaux, et réduit la log-vraisemblance négative face au softmax.
Les LLM sont Turing-complets : un compilateur d'assembleur vers poids de transformer Llama
Un développeur montre qu'un transformer standard peut exécuter n'importe quel algorithme calculable, en compilant directement un programme assembleur en poids de modèle, sans entraînement.
La prédiction ne suffit pas comme état mémoire : ce que les mises à jour futures révèlent
Une mémoire qui reproduit toutes les prédictions actuelles peut avoir oublié comment apprendre de la prochaine observation : un papier théorique caractérise cette limite pour l'apprentissage cumulatif et l'attention.
DISCO : détection de communautés superposées par attention spatiale induite par diffusion
Un nouveau cadre combine dynamiques de diffusion, attention épars multi-têtes et apprentissage d'affiliation pour mieux détecter les communautés qui se recoupent dans les réseaux.
Abstention et filtrage du bruit : deux primitives manquantes de l'attention softmax
Une étude identifie deux mécanismes distincts expliqués par le gating de la voie de valeur dans les modèles de langage : abstention et filtrage du bruit.
SAS : attention par épinglage optimisée end-to-end
Une méthode de sparsification de l'attention aligne directement le classement du contexte sur l'impact prédictif, sans bloquer les gradients.
MCRL2 : apprentissage de représentation par cross-attention et RL pour l'orchestration de microservices cloud
Une nouvelle méthode combine cross-attention multi-ressources et apprentissage par renforcement pour mieux répartir la charge dans les datacenters.
Prefix Sliding : une méthode pour un test-time scaling plus efficace
Une technique qui tronque la mémoire des LLM pendant le raisonnement long, sans perte de performance, pour un scaling moins coûteux.
Proteus : activation mémoire incrémentale pour le long contexte
Une nouvelle méthode régulant la capacité mémoire dynamique pour améliorer le traitement de longues séquences.
Un transformer à attention de voisinage pour la segmentation 3D de l'artère interventriculaire antérieure
Un nouveau modèle transformer améliore la délimitation de l'artère coronaire LAD sur scanner sans contraste, utile en radiothérapie thoracique.
La fragilité des chemins d'attention comme signal d'incertitude dans les LLM
Une nouvelle méthode détecte les prédictions confiantes mais fragiles des LLM en perturbant leurs mécanismes d'attention.
NVIDIA repense l'attention pour accélérer l'inférence à contexte long
Face à la montée des workloads agentiques et à contexte long, NVIDIA plaide pour une co-conception de l'attention et du hardware GPU.
ResKV : reconstruire les contributions d'attention omises pour la compression du cache KV à budget fixe
Une méthode qui combine cache principal exact et cache résiduel compact pour limiter les pertes d'information lors de la compression du KV cache en contexte long.
Vous auriez pu inventer Kimi Delta Attention
Un billet de blog décortique pas à pas la logique derrière ce mécanisme d'attention, en le rendant accessible aux non-spécialistes.
Profilage dans PyTorch (Partie 3) : L'attention sous le microscope
Hugging Face publie la troisième partie de sa série sur le profilage PyTorch, focalisée sur les mécanismes d'attention et leur analyse de performance.
L'illusion d'équivalence : effets comportementaux de la quantization des LLM
La précision et la perplexité ne suffisent pas à évaluer la quantization : une nouvelle métrique comportementale révèle des divergences invisibles.
Linéarisation des Transformers : analyse des mécanismes clés pour maintenir la qualité
Des chercheurs identifient pourquoi certaines méthodes de linéarisation préservent mieux la qualité des LLMs, avec des résultats probants jusqu'à 32B paramètres.
Graph Convolutional Attention : une perspective spectrale sur le débruitage et la diffusion de graphes
Une nouvelle architecture d'attention combinant filtrage spectral et convolution de graphes surpasse l'attention linéaire classique pour le débruitage.