Optimisation
Fellow suit ce sujet depuis mai 2026 : 153 articles résumés en français, dont 29 jugés majeurs ou notables.
Toute l'actualité · 153 articles
Megakernels : morts puis ressuscités, le débat repart sur l'ingénierie d'inférence
Une discussion animée sur les megakernels relance le débat technique sur l'optimisation des kernels pour l'inférence des modèles.
DeepSeek V4 Flash sur un seul AMD MI300X
Une implémentation optimisée permet de faire tourner DeepSeek V4 Flash sur un accélérateur AMD MI300X unique.
Une preuve assistée par IA pour la conjecture en optimisation creuse
Une étude valide une conjecture sur les moindres carrés épars grâce à un système agentique basé sur Gemini.
GradCuit : inférence latente robuste et interprétable par gradient
Une méthode de raisonnement latent à l'exécution améliore la précision et la robustesse des LLM via une attribution de crédit directe.
Reparamétrisation lisse pour décomposition tensorielle
Une méthode de reparamétrisation sur des espaces de produits de simplexes optimise l'optimisation Riemannienne.
AtumAI : framework pour la génération de politiques de contrôle par agents
AtumAI formalise et automatise la création de politiques de contrôle de datacenter via l'IA agentic.
CostPerPrompt : tarifs API IA et calculateurs de coûts
Outil de suivi en temps réel des prix des API IA et estimateurs de coûts pour charges de travail réelles.
Réplication spéculative de KV pour l'inférence LLM par pics
Une méthode de réplication prédictive du cache KV optimise l'inférence lors des pics de charge.
TokTier : tokenisation avec état exacte pour serveurs d'agents LLM
Un service de tokenisation avec état qui élimine la répétition coûteuse pour les agents, accélérant le traitement jusqu'à 437x.
Compression par signe pour Muon : SignMuon, MuonSign et les limites de l'error feedback
Une étude théorique et empirique révèle un paradoxe : la méthode de compression la plus efficace en pratique est aussi celle qui diverge en théorie.
QASP : une politique de recherche vectorielle robuste et adaptative
QASP réduit la variance et le coût de la recherche vectorielle en adaptant dynamiquement les paramètres pour atteindre le rappel cible.
Séquençage automatique pour le fine-tuning multi-politique des LLM
Un nouveau cadre organise les chemins d'optimation pour améliorer l'efficacité du Parameter-Efficient Fine-Tuning.
Pourquoi LocalAI développe ses propres moteurs d'inférence en C++
LocalAI explique les raisons techniques et stratégiques de l'écriture de moteurs C++ dédiés à l'inférence.
GPT 5.6 : coûts divisés par 13 via auto-optimisation
OpenAI révèle que GPT 5.6 a réduit ses propres coûts d'infrastructure grâce à l'optimisation autonome de kernels et speculative decoding.
β-OPSD : optimisation par politique et auto-distillation
Une nouvelle méthode généralise l'auto-distillation on-policy en introduisant un paramètre β pour équilibrer stabilité et performance.
Les LLM routers forment une nouvelle catégorie de services
Le routing entre modèles d'IA émerge comme un service infrastructurel critique pour optimiser coûts et performance.
NVIDIA Exemplar Cloud : les clés pour exploiter pleinement les infrastructures IA
Des clusters identiques H100 ou GB200/GB300 NVL72 peuvent afficher jusqu'à 12% d'écart de performance selon la configuration logicielle et système.
Gestion des GPU : pourquoi les GPU inactifs sont les nouveaux avions cloués au sol
Un article compare les GPU sous-utilisés à des flottes d'avions immobilisées, soulignant le coût caché de la mauvaise allocation des ressources de calcul.
SAM et Muon : robustesse et norme spectrale
L'optimisation matrix-aware et SAM combinées à Muon améliorent la généralisation sur ImageNet.
LFM2.5-Encoders : inférence rapide sur CPU
Hugging Face publie LFM2.5-Encoders, une solution optimisée pour le traitement de contextes longs.
Réduction drastique du prompt système de Claude Code
Opus 5 et Fable 5 nécessitent 80 % moins d'instructions système.
Au-delà de la ridge négative : une régularisation spectrale à signe mixte via descente de gradient à décalage négatif
Une nouvelle analyse théorique dépasse les limites structurelles de la ridge négative en régression linéaire surparamétrée grâce à un arrêt précoce contrôlé.
Bornes de complexité et méthodes pour apprendre les itérations d'un solveur de descente de gradient projetée
Une nouvelle stratégie de collecte de données par k-voisinages permet d'enrichir les jeux d'entraînement sans relancer le solveur numérique.
TRACE-ROUTER : routage adaptatif pour les workflows d'agentic AI
Un framework de routage au niveau de la tâche qui aligne les décisions sur les résultats finaux pour optimiser les coûts et la qualité.
La méthode Barzilai-Borwein échoue à converger superlinéairement pour toute dimension n≥4
Une preuve assistée par ordinateur montre que BB1 ne converge pas superlinéairement sur un ensemble ouvert de problèmes quadratiques.
Nunchaku : inférence 4-bit pour diffusion dans Diffusers
Hugging Face intègre Nunchaku pour accélérer l'inférence Stable Diffusion via la quantification 4-bit.
Lois des grands nombres Lipschitziennes pour fonctions aléatoires
Des chercheurs établissent des SLLN pour des fonctions localement Lipschitziennes, étendant les résultats aux structures o-minimales et aux applications d'optimisation.
ISO : une pile d'optimisation native pour le RLVR
Une nouvelle approche exploite la structure spectrale des poids pour accélérer et fusionner des modèles entraînés par RLVR, avec des gains d'efficacité mesurables.
FlashRT : un agent qui optimise le déploiement d'applications multimodales temps réel
Un nouveau framework guide des agents de codage pour transformer des implémentations de référence en déploiements multi-GPU optimisés, avec des gains massifs de latence.
OR Else : une région de confiance différentiable pour l'optimisation de politique
Une alternative lisse au clipping de PPO et GRPO testée sur Llama-3.2-1B pour le post-entraînement de LLM par RLHF.
Contrôler l'effort de raisonnement dans les LLM
Analyse technique des méthodes pour optimiser les ressources de calcul.
Comment l'équipe a rendu son lecteur vidéo LeRobot jusqu'à 15 fois plus rapide
Un billet technique détaille les optimisations apportées au chargement des données vidéo pour l'entraînement de modèles robotiques via LeRobot.
Quand l'optimiseur Muon améliore-t-il l'apprentissage par renforcement agentique ?
Une étude exploratoire compare Muon à AdamW en post-training RL sur des tâches agentiques à récompense éparse, avec des gains significatifs sous certaines conditions.
Optimisation des algorithmes IKPLS pour la régression PLS par noyau
Un chercheur accélère deux étapes clés des algorithmes IKPLS, avec des gains allant jusqu'à deux ordres de grandeur sur certaines opérations.
Lighthouse RL : optimiser le dimensionnement de circuits analogiques avec moins d'essais
Une nouvelle stratégie de reset guidé par des configurations performantes améliore l'efficacité et la généralisation du RL pour la conception de circuits.
Les optimiseurs d'agents composent-ils ? Une évaluation en apprentissage continu sur Terminal-Bench 2.0
Une étude compare trois méthodes d'optimisation d'agents et montre que la plupart des gains ne se maintiennent pas dans un cadre d'apprentissage continu.
Exécution de Gemma 4 26B à 5 tok/s sur un Xeon sans GPU
Inférence d'un modèle 26B sur du matériel obsolète via optimisation logicielle.
L'IA va tout optimiser à la John Carmack
Palmer Luckey prévoit une ère d'optimisation radicale inspirée par les méthodes de John Carmack.
Capn-hook : outil pour éviter les répétitions des coding agents
Un outil permettant aux coding agents de mettre en cache leurs recherches de code pour éviter de dupliquer les efforts.
Migration d'un agent IA vers GPT-5.6 : +2.2x de vitesse, -27% de coûts
Un retour d'expérience détaillé sur la transition vers GPT-5.6 et les gains observés en production.
Autoresearch, Claude et l'optimisation sous contraintes
Un essai explore comment Claude peut assister la recherche scientifique via des méthodes d'optimisation contrainte.
Les entreprises face à l'explosion des coûts liés à l'IA
Alors que les dépenses en IA s'envolent, les organisations cherchent en urgence des stratégies pour maîtriser des factures de plus en plus difficiles à justifier.
Fusion de kernels dans NVIDIA CUDA : optimiser la bande passante mémoire et les surcoûts de lancement
NVIDIA explique comment la fusion de kernels CUDA permet de réduire les goulots d'étranglement mémoire et les latences de lancement sur GPU.
Co-conception matérielle : comment concevoir des LLM adaptés au hardware
NVIDIA détaille comment les choix d'architecture d'un LLM influencent directement le débit de tokens et la latence perçue par l'utilisateur.
Profilage dans PyTorch (Partie 3) : L'attention sous le microscope
Hugging Face publie la troisième partie de sa série sur le profilage PyTorch, focalisée sur les mécanismes d'attention et leur analyse de performance.
Rétro-ingénierie de CUDA-checkpoint Nvidia pour accélérer les démarrages à froid
Un développeur décortique le mécanisme CUDA-checkpoint de Nvidia pour réduire drastiquement les temps de démarrage des processus GPU.
STRACE : analyse structurelle de trajectoires et extraction causale pour l'optimisation d'agents
Un framework qui filtre les traces d'exécution redondantes et localise les causes racines des échecs pour optimiser plus efficacement les agents LLM long-horizon.
Gestion multi-objectif de batteries dans les fermes laitières par Deep Reinforcement Learning multi-agents
Des chercheurs proposent un système de contrôle à deux couches combinant tarification dynamique et DRL multi-agents pour optimiser l'intégration des énergies renouvelables dans le secteur laitier irlandais.
Optimisation de l'inférence pour MiMo v2.5 : maximiser l'efficacité du Hybrid SWA
Xiaomi détaille les techniques d'optimisation d'inférence de son modèle MiMo v2.5, centré sur l'architecture Hybrid Sliding Window Attention.
H Company optimise la gestion VRAM
La startup H Company dévoile des techniques d'optimisation mémoire pour réduire la consommation VRAM.