Optimisation
Fellow suit ce sujet depuis mai 2026 : 153 articles résumés en français, dont 29 jugés majeurs ou notables.
Toute l'actualité · 153 articles
NVIDIA détaille l'accélération de l'inférence LLM via le decoding spéculatif
Troisième volet d'une série sur le co-design de modèles IA, avec cinq règles pratiques pour choisir la longueur et le mécanisme de draft.
La frontière d'efficacité de l'inférence LLM
Baseten explore les compromis entre coût, latence et débit pour optimiser le déploiement des LLM en production.
DeepSeek-V3 : du modèle roofline à la réalité de l'implémentation
Une analyse technique décortique les choix d'ingénierie de DeepSeek-V3 face aux limites théoriques du matériel.
Gradient-Update Mismatch : revoir l'entraînement sans conflit des PINNs
Une étude identifie une divergence entre les directions de gradient et les mises à jour réelles des optimiseurs dans les PINNs.
Preuves du mixing en d² pour les weighted Dikin walks
Deux nouvelles preuves établissent des bornes de mélange en Õ(d²) pour l'échantillonnage sur les polytopes et cônes tronqués.
Panorama des optimiseurs de réseaux de neurones : au-delà d'Adam
Une revue de littérature dresse un état des lieux des méthodes d'optimisation modernes, entre géométrie matricielle, gestion de l'horizon et contraintes systèmes.
Superhuman Attention : optimisation d'interface
Une analyse technique des choix de design ayant permis à l'interface de Superhuman de maximiser l'attention et la réactivité.
Un modèle d'exécution GPU découplant threads et registres pour le calcul tensoriel
Une nouvelle architecture d'exécution GPU vise à améliorer l'efficacité des calculs tensoriels en dissociant threads et registres.
Un modèle de 8,6 Go limité à 7 requêtes par seconde
L'analyse détaillée des goulets d'étranglement qui entravent le débit d'inférence.
L'ELR pilote la dynamique de perte du pré-entraînement
Une étude révèle que le taux d'apprentissage effectif (ELR) unifie les dynamiques de perte à travers diverses configurations.
StarHarness : faire évoluer les harnais d'agents par recherche stratifiée pour l'entreprise
Un framework qui améliore les performances d'agents IA en entreprise en optimisant l'environnement d'exécution plutôt que le modèle lui-même.
Quantization-Aware Healing : le modèle 4-bit surpasse son original
Une nouvelle méthode de quantization permet à des modèles compressés en 4-bit de surpasser leurs versions en pleine précision.
Un modèle de langage « à la bonne taille » pour tourner sur CPU
Un développeur détaille son approche pour concevoir un petit modèle de langage optimisé pour l'exécution CPU, sans GPU.
Tiny-Net : embeddings de tokens appris en 2D
Une architecture neuronale remplace les embeddings standards par des coordonnées 2D.
NanoGPT Speedrun : la frontière des records d'entraînement rapide
Prime Intellect documente les progrès de la communauté sur le speedrun NanoGPT, un défi d'optimisation d'entraînement de LLM.
Accélération primale de la méthode de Newton
Un nouvel algorithme d'optimisation convexe atteint une vitesse de convergence record avec une seule résolution linéaire par itération.
LFM2.5-DSpark : jusqu'à 3,2x d'inférence plus rapide, du H100 au MacBook
Liquid AI dévoile LFM2.5-DSpark, une nouvelle version de son modèle optimisée pour accélérer l'inférence sur une large gamme de matériel.
Une méthode unifiée branch-and-bound pour le Steiner-TSP
Un nouvel algorithme résout efficacement le problème du voyageur de commerce sur des graphes d'ensembles convexes.
Optimisation des benchmarks en reconnaissance vocale
Hugging Face analyse l'impact de l'optimisation sur les benchmarks de reconnaissance automatique de la parole.
DICS : une approche par clustering pour accélérer les arbres de décision
Cette méthode réduit l'espace de recherche des splits via des centroïdes informés par les données.
Universalité de l'entraînement par descente de gradient des réseaux de neurones
Un papier théorique explore si des architectures fixes peuvent être entraînées par descente de gradient pour atteindre n'importe quel réseau cible.
Unsloth lance le format dynamique 3.0 GGUF
Nouveau format GGUF dynamique 3.0 pour optimiser l'inférence locale et l'efficacité des modèles.
NVIDIA SkillEvaluator : évaluer la performance des agents IA
NVIDIA lance SkillEvaluator, un outil pour mesurer l'efficacité des compétences des agents IA et réduire les étapes inutiles.
Qwen3.8-27B : niveau d'effort medium par défaut
Llama.cpp adopte le paramètre 'medium' par défaut pour le modèle Qwen3.8-27B.
DFlash 2 : génération de texte en parallèle
DFlash 2 accélère le drafting en exploitant le parallélisme pour améliorer la latence.
HLSR : reroutage hybride dynamique pour éviter la congestion
Un nouveau framework de reroutage sélectif combine données temps réel et prévisions à court terme pour optimiser le trafic urbain.
Chain-of-Experience : amélioration continue des LLM
Une méthode exploitant l'expérience itérative et les signaux de feedback pour améliorer les performances des LLM.
WEASEL 2.0 : reproduction, sensibilité et règle adaptative
Une reproduction du classifieur WEASEL 2.0 propose une règle adaptative pour réduire la mémoire et le temps de calcul.
Même cluster GPU, 33 points d'utilisation en plus : la clé était l'ordonnancement
Un retour d'expérience montre comment réorganiser l'ordonnancement des tâches GPU améliore fortement le taux d'utilisation, sans matériel supplémentaire.
Améliorer l'exposant de multiplication matricielle avec l'optimisation moderne et AlphaEvolve
Google DeepMind combine optimisation ML et AlphaEvolve pour affiner la borne théorique de la multiplication de matrices, un problème vieux de plusieurs décennies.
Facettes canoniques des polytopes multi-séparateurs
Caractérisation des facettes du polytope multi-séparateur et liens avec le lifted multicut pour la segmentation d'images.
Approximate Muon avec adaptateurs low-rank
Le sMuon étend l'optimiseur Muon au fine-tuning efficace pour améliorer les performances LoRA.
Planification optimale des travaux routiers selon l'impact sur le trafic
Des modèles de substitution accélèrent l'évaluation de l'impact du trafic pour la planification des travaux.
LP-NAS : recherche d'architecture via programmation linéaire
Un nouveau cadre différentiable basé sur la programmation linéaire pour optimiser efficacement les réseaux de neurones.
Graft : Hooks pour Claude Code réduisant la consommation de tokens de 42 %
Cet outil optimise les appels à l'API de Claude en filtrant le code via des hooks, diminuant significativement les coûts.
Une solution simple pour la latence de queue des LLM
Optimiser l'inférence LLM pour lisser les pics de latence et garantir une expérience utilisateur fluide.
DARTree : speculative decoding par diffusion et arbres
Cette méthode sans entraînement accélère les LLM via des arbres de candidats parallèles, dépassant les vitesses des approches classiques.
Géométrie des données en diffusion par masquage : des schedules certifiés-optimaux via la complexité de croissance du démasquage
Un nouveau cadre théorique optimise les schedules de diffusion discrète en s'appuyant sur la géométrie des données, avec des gains prouvés en grande dimension.
CUDA : le swizzling en mémoire partagée expliqué en détail
Un article technique décortique la technique de swizzling pour éviter les conflits de banques en mémoire partagée CUDA.
Apple Silicon : accélération LLM 11–16× via GPU passthrough
L'utilisation du GPU passthrough sur macOS VM optimise l'inférence avec Llama.cpp.
Thinking of ACE ? Efficacité avec moins de tokens
IBM Research et Hugging Face présentent une méthode pour réduire la consommation de tokens sans perdre en qualité.
Tura : framework pour agents IA économes en tokens
Un outil open-source permettant de construire des agents optimisés pour réduire la consommation de tokens.
Le retour du CPU : repenser la répartition CPU/GPU pour l'inférence LLM
Red Hat explore comment optimiser l'inférence des LLM en rééquilibrant les rôles respectifs des processeurs centraux et graphiques.
CoinRAG : réutilisation de cache KV pour le RAG long-contexte
Une méthode de réutilisation de cache fine-grained pour optimiser l'efficacité et la précision du RAG.
SkillProx : Évolution de compétences agents par gradient textuel proximal
Une méthode améliore l'adaptation des agents LLM via un diagnostic en boucle fermée et un raffinement proximal.
Blast Radius : gestion prédictive de la mémoire
Une méthode réduit la consommation de tokens de 26% dans le codage agentic via l'éviction réversible.
Effondrement post-grokking à l'interface représentation-lecture dans les transformers entraînés avec Muon
Une étude montre que les modèles entraînés avec l'optimiseur Muon apprennent plus vite mais perdent leur généralisation après le grokking.
Gradient de politique de Wasserstein pour le contrôle linéaire-quadratique régularisé par entropie
Une analyse théorique montre que le WPG converge exponentiellement vers la politique optimale linéaire-gaussienne, sans dégradation près de zéro température.
Le B200 surpasse le LPU et rivalise avec Cerebras par logiciel
Une optimisation logicielle permet à un seul B200 de battre l'unité LPU et d'approcher les performances Cerebras en inference.
La fonction de perte ne voit pas la base, mais Adam la voit
Une étude théorique explique pourquoi Adam brise le biais implicite vers les solutions de rang faible que la descente de gradient préserve naturellement.