Optimisation
Fellow suit ce sujet depuis mai 2026 : 153 articles résumés en français, dont 29 jugés majeurs ou notables.
Toute l'actualité · 153 articles
Dépasser une route de build unique dans NVIDIA TensorRT avec le Global Performance Tuner, partie 1
NVIDIA présente le Global Performance Tuner pour TensorRT et rappelle que déployer un réseau de neurones est un problème de compilation, avec de multiples solutions valides.
Optimisation stochastique partiellement informée par suivi résiduel d'ordre zéro
PISO combine la composante de gradient disponible et une estimation courante du résidu pour réduire la variance du sondage aléatoire, avec des garanties de convergence en non convexe.
SGD décentralisé sous bruit à queue lourde : taux de convergence optimaux et rôle du gradient clipping
Des chercheurs démontrent que le clipping permet d'atteindre des taux de convergence optimaux pour l'optimisation décentralisée non convexe sous bruit à moments bornés, avec accélération linéaire en nombre d'agents.
Échantillonnage softmax à deux niveaux : correction des biais liés au déséquilibre de taille et à la dispersion des clusters
Des chercheurs identifient des biais systématiques dans la méthode d'échantillonnage softmax à deux niveaux (2LS) et proposent deux variantes corrigées, S-2LS et SD-2LS, avec surcoût calculatoire négligeable.
NVIDIA cuOpt passe à l'échelle : optimisation de décision sur 100 millions de variables avec mPDLP
La solution GPU de NVIDIA franchit un cap pour la supply chain et les réseaux énergétiques, avec des accélérations de plus de 10x sur CPU.
Optimisation inverse en ligne : un algorithme optimal et efficace en temps polynomial
Un algorithme déterministe résout en temps polynomial un problème ouvert d'optimisation linéaire inverse en ligne, avec un regret optimal.
Green Contexts : contrôler comment un GPU partage ses ressources de calcul
NVIDIA détaille une fonctionnalité permettant de répartir précisément les ressources GPU entre plusieurs tâches exécutées simultanément.
Faire tourner Qwen 3.8 Flash Next (125B) sur du matériel grand public (RTX 4090) à 100 T/s
Un projet open source promet d'exécuter un modèle de 125 milliards de paramètres sur une seule RTX 4090, à haute vitesse.
FrugalEvo : vers une évolution de programmes guidée par LLM, sous contrainte de coût
Un framework d'évolution de code combine un LLM puissant pour explorer les stratégies et un LLM moins cher pour les implémenter, en optimisant le gain par dollar dépensé.
Planning to Learn : repenser le gradient de politique via un horizon d'apprentissage
Un nouveau papier explique pourquoi le gradient de politique exact perd face à l'entropie croisée, et propose une « horizon loss » qui comble l'écart.
Les ponts de Schrödinger avec coût sur graphes se résolvent exactement, sans contrôle appris
Un nouvel article montre qu'un tilt de Feynman-Kac remplace l'apprentissage par différence temporelle pour résoudre exactement ces ponts probabilistes.
ZFO : une méthode hybride ordre zéro/premier ordre pour optimiser le fine-tuning des LLM
Un framework léger découple direction et taille de pas d'optimisation, avec garanties théoriques et gains de performance sur plusieurs LLM.
SoftServe : une méthode quasi-Newton scalable pour le deep learning
Un nouvel optimiseur quasi-Newton promet des courbures positives garanties et de meilleures pertes qu'Adam, Muon ou SOAP sur des problèmes mal conditionnés.
Des gradients aux capacités : comprendre la distillation multi-enseignants on-policy
Une étude disséquant comment les signaux de plusieurs enseignants RL façonnent réellement les paramètres d'un modèle étudiant.
DeepSeek-V4.1-Flash : repousser les limites de la compression du cache KV
DeepSeek publie une version allégée de son modèle V4.1, axée sur l'optimisation de la mémoire KV cache pour des déploiements plus efficaces.
EvoDuet : co-évolution à deux niveaux de la recherche web et de la résolution de tâches pour la découverte scientifique
Une méthode d'optimisation bi-niveau fait évoluer conjointement les requêtes de recherche et les solutions, sans modifier les paramètres du LLM.
Un écart d'optimalité en O(1/N) pour les MDP faiblement couplés à récompense moyenne
Des chercheurs proposent une nouvelle politique qui dépasse la borne classique en 1/√N pour une famille de processus de décision markoviens couplés.
Un décodage spéculatif par recherche de motifs plus rapide dans llama.cpp
Un article technique détaille une optimisation du prompt lookup decoding, une méthode de génération accélérée dans llama.cpp.
Stationnarité de premier ordre des diffusions inverses
Une théorie de premier ordre relie optimisation et échantillonnage pour les modèles de diffusion basés SDE et ODE.
Effondrement en mode commun et récupération dans le Direct Feedback Alignment
Une étude analytique révèle pourquoi le DFA peut se bloquer près d'un prédicteur constant, et propose des correctifs simples pour l'éviter.
Méthodes anchored extra-proximales : méthodes d'ordre supérieur optimales pour les inclusions monotones
Un nouveau cadre théorique, AEP, atteint la complexité optimale pour résoudre les problèmes d'inclusion monotone composite, surpassant toutes les bornes supérieures connues.
Quand Claude peut mesurer une métrique, il parvient à l'optimiser
Anthropic détaille l'approche d'optimisation continue de Claude : la capacité du modèle à s'auto-évaluer sur des métriques précises devient le levier de ses propres gains de performance.
Réseaux ReLU à deux couches univariés : solutions exactes et optimalité globale grâce aux skip connections
Une étude théorique caractérise géométriquement les classifieurs à norme minimale et montre comment les skip connections garantissent l'optimalité globale.
Accélérer du code Rust en demandant à des agents de l'optimiser
Un développeur utilise des agents IA pour optimiser itérativement du code Rust, exploitant leurs capacités pour identifier et appliquer des améliorations de performance de manière autonome.
Shapelearn Qwen 3.8 27B : optimisation 13.1 Go VRAM
Le modèle Qwen 3.8 27B est optimisé pour tourner sur 13,1 Go de VRAM, facilitant son déploiement local.
DeepSeek-V4.1 Flash : repousser les limites de la compression du KV cache
Un décryptage technique de l'architecture de DeepSeek-V4.1 Flash, centré sur ses optimisations agressives de compression du cache clé-valeur.
Dépasser la barrière des 1.58 bits pour les LLM ternaires
Une nouvelle méthode de quantisation repousse les limites de compression des LLM ternaires sans perte significative de performance.
Un modèle de 4 milliards de paramètres génère des plans de requêtes 81 % plus rapides que Postgres
Un chercheur entraîne un petit LLM spécialisé pour optimiser les plans d'exécution de requêtes SQL, surpassant l'optimiseur natif de PostgreSQL.
rMuscle : mémoire motrice pour l'inférence VLA efficiente
Un framework exploitant les similarités des tâches robotiques pour accélérer l'inférence des modèles Vision-Language-Action.
Entraîner des modèles Text-to-Image 3,6× plus vite
Une méthode compile les pipelines dynamiquement pour réduire drastiquement les temps d'entraînement.
RoofLang : architecture de systèmes d'inférence LLM pilotée par l'IA
Un langage spécifique pour automatiser et optimiser la conception des infrastructures d'inférence de grands modèles de langage.
Sakana AI propose une alternative à la rétropropagation via le predictive coding
Une méthode d'entraînement fondée sur le lagrangien augmenté et le predictive coding, présentée comme alternative à la backpropagation classique.
Bellman Policy Optimization : méthode de RL sans critique
Une nouvelle approche BPO optimise les politiques d'IA sans estimateur de valeur, améliorant le raisonnement mathématique.
Réduire de 90% le coût CPU d'eBPF par mémoïsation
Une optimisation technique majeure abaisse la consommation CPU des programmes eBPF sans recourir à l'IA générative.
SAS : attention par épinglage optimisée end-to-end
Une méthode de sparsification de l'attention aligne directement le classement du contexte sur l'impact prédictif, sans bloquer les gradients.
Paysages de perte bénins coexistent avec la complexité au pire
Les Tree Tensor Networks prouvent que des minima locaux bénins n'excluent pas une difficulté d'apprentissage intrinsèque.
Une vue unifiée et contrainte de l'apprentissage par renforcement robuste basé sur la régularisation
Des chercheurs proposent un cadre théorique unifiant les méthodes de régularisation contre les perturbations adversariales en RL profond.
RTK promet des économies mais nos tests contredisent ses chiffres
Quesma teste les promesses de réduction de coûts de RTK. Les résultats indiquent des économies moindres que ce qui est annoncé.
GPU-CFR : 80x plus rapide en compilant le jeu en dataflow statique
Une nouvelle approche compile les jeux en graphes CUDA statiques, faisant enfin dépasser le GPU sur le CPU pour l'algorithme CFR utilisé en théorie des jeux.
Le paysage de la régularisation dans les modèles de recommandation linéaires
Une étude unifie les algorithmes de recommandation issus du deep learning sous deux familles de régularisation, et propose deux nouvelles solutions hybrides.
Optimisations NIM : x2.5 utilisateurs sur Nemotron 3 Ultra
NVIDIA explique comment son stack NIM maximise la concurrence sur GPU pour les workloads d'IA agentic.
Optimiser le débit du Neural Engine d'Apple
Un développeur parvient à atteindre 50 Go/s sur l'Apple Neural Engine en exploitant le DMA pour contourner les limitations.
Quand utiliser la désagrégation encode-prefill-decode pour accélérer le serving de modèles multimodaux
NVIDIA détaille une technique d'optimisation d'inférence qui sépare l'encodage visuel du prefill et du decode, avec des gains jusqu'à 5x.
Le « silver rate » quasi optimal pour accélérer la descente de gradient
Une preuve théorique borne les limites d'accélération de la descente de gradient par des pas prédéterminés, confirmant l'optimalité du schéma silver.
Instabilité de l'optimisation scale-invariant
Une loi exacte explique l'interaction entre lr et weight decay dans les réseaux normalisés.
Portal by Spotify réduit l'usage de tokens Claude Code de 90%
L'outil interne de Spotify optimise drastiquement la consommation de tokens pour les assistants de code.
NVIDIA : déployer et optimiser les modèles de raisonnement sur Jetson
NVIDIA permet désormais le déploiement de modèles de raisonnement complexes directement sur le matériel Edge via Jetson.
Para-Pipe : parallélisme hiérarchique sur SoC
Un nouveau cadre exploite le parallélisme des opérateurs sur les SoC hétérogènes pour optimiser latence et débit.
La boîte à outils CUDA moderne à l'œuvre : un guide pas à pas d'optimisation
NVIDIA détaille une méthode concrète pour optimiser du code CUDA, entre profilage, bibliothèques modernes et bonnes pratiques de performance.
Preuve d'optimalité pour le benchmark frb100-40
Après deux décennies, le problème Model-RB frb100-40 est résolu via un ensemble indépendant certifié et une étude préenregistrée.