Efficacité
Fellow suit ce sujet depuis juin 2026 : 46 articles résumés en français, dont 12 jugés majeurs ou notables.
Toute l'actualité · 46 articles
Votre Transformer est secrètement élastique
Une méthode sans réentraînement transforme des transformers pré-entraînés en un modèle unique, ajustable à la volée selon le budget de calcul, avec une dégradation progressive jusqu'à 60 % de sparsité.
DoubtLess : un décodage contrastif sans entraînement pour un raisonnement plus efficace
Un petit modèle de raisonnement guide un grand modèle vers des chaînes de pensée plus courtes : −31 % de tokens sur Qwen3-32B, à précision inchangée, sans aucun entraînement supplémentaire.
Un bloc, plusieurs profondeurs : Vision Transformers récurrents avec experts programmés par la profondeur
reViT applique un unique bloc Transformer de façon récurrente et atteint la précision d'un encodeur vision pleine profondeur, avec environ 70 % de paramètres stockés en moins.
Bottling : les agents LLM peuvent-ils transformer leurs capacités en artefacts économiques et scalables ?
Un nouveau benchmark, BOTTLED, teste si des agents LLM peuvent convertir des compétences générales en solutions spécialisées à moindre coût.
Vers des modèles en boucle réussis (partie II) : repenser l'entraînement aux points fixes
Une méthode d'entraînement améliore les modèles de langage en boucle, réduisant le cache KV et accélérant prefill et RL sans perte de précision.
Des lois d'échelle pour les Mixture-of-Experts en boucle
Une nouvelle loi d'échelle modélise conjointement récurrence et sparsité, et prédit plus finement les performances des modèles MoE bouclés.
LeapQuant : quantification précise de l'état récurrent pour l'attention linéaire efficace
Une méthode sans entraînement permet de quantifier en 8 bits l'état récurrent des architectures à attention linéaire, sans perte notable de qualité.
KV-streams : une méthode pour accélérer la compaction de contexte en RL agentique
Un nouveau mécanisme évite de reconstruire le cache KV à chaque compaction, avec un gain de vitesse d'entraînement jusqu'à 5x.
TaH2 : des transformers en boucle adaptatifs pour améliorer le test-time scaling
Une méthode de post-training qui concentre les itérations supplémentaires sur les tokens qui en tirent vraiment profit, avec des gains mesurés sur AIME.
Apprendre à s'arrêter sans apprendre à s'arrêter : l'entraînement à la confiance améliore l'efficacité du raisonnement
Un fine-tuning auto-supervisé basé sur la confiance réduit de 25% les tokens générés par les modèles de raisonnement, sans perte de précision.
rMuscle : mémoire motrice pour l'inférence VLA efficiente
Un framework exploitant les similarités des tâches robotiques pour accélérer l'inférence des modèles Vision-Language-Action.
SAS : attention par épinglage optimisée end-to-end
Une méthode de sparsification de l'attention aligne directement le classement du contexte sur l'impact prédictif, sans bloquer les gradients.
Le progrès en pré-entraînement vient surtout des données
Une étude compare recettes de modèles et corpus de données de 2019 à 2025 pour isoler la source réelle des gains de performance en pré-entraînement.
Compiler par entraînement : transformer des spécifications en langage naturel en fonctions neuronales locales
Une méthode de compilation qui transforme une description textuelle en petit modèle spécialisé, autonome et réutilisable, sans dépendre d'un LLM distant.
Distillation on-policy : un exemple suffit
Une étude montre que la distillation on-policy peut atteindre des performances quasi-optimales avec une seule donnée d'entraînement.
EarlyEval : réduire le coût de l'évaluation des agents grâce à la prédiction précoce des résultats
Un framework léger prédit l'issue d'une tâche d'agent avant sa fin, coupant jusqu'à 44% des tokens consommés sans perte de précision.
LLM : intelligence versus coût, un arbitrage à repenser
Une analyse examine le rapport entre performance des LLM et coût d'inférence, questionnant la course à la puissance brute.
Quantization des LLM : pourquoi mieux vaut répartir la précision globalement
Une étude sur 9 modèles open-weights montre que les dégâts de la quantization sont diffus, pas localisés, et que la granularité globale bat les réparations ciblées.
44 % sur ARC-AGI-1 pour 67 centimes de dollar
Un développeur détaille comment atteindre 44 % de score sur le benchmark ARC-AGI-1 avec un budget de calcul dérisoire.
Impact de l'évaluation efficace sur les conclusions de benchmark IA responsable
Réduire les coûts d'évaluation via batching ou quantisation peut altérer les conclusions sur les biais et la performance des modèles.
Entraînement efficace de modèles MoE par reconfiguration de couches
Une architecture MoE hétérogène réduit les coûts d'entraînement sans perte de performance.
CritICL : généraliser du faible vers le fort à partir des erreurs de petits modèles
Un nouveau cadre exploite les échecs typiques des petits LLM comme exemples critiques en contexte, pour améliorer le raisonnement à moindre coût.
Prefix Sliding : une méthode pour un test-time scaling plus efficace
Une technique qui tronque la mémoire des LLM pendant le raisonnement long, sans perte de performance, pour un scaling moins coûteux.
Théorie du rang optimal pour les adaptateurs LoRA
Une nouvelle borne mathématique définit l'erreur minimale atteignable par le fine-tuning LoRA en fonction du rang.
DICS : une approche par clustering pour accélérer les arbres de décision
Cette méthode réduit l'espace de recherche des splits via des centroïdes informés par les données.
Apprentissage de l'allocation adaptative du calcul de test
Un modèle LLM apprend à sélectionner le niveau de raisonnement nécessaire par problème, réduisant le coût de calcul de 41%.
Thinking of ACE ? Efficacité avec moins de tokens
IBM Research et Hugging Face présentent une méthode pour réduire la consommation de tokens sans perdre en qualité.
BDH-CQ : In-Context Learning par raisonnement latent récurrent
Un nouveau modèle de raisonnement combine apprentissage in-context et mémoire récurrente, battant le record d'efficacité coût/précision sur ARC-AGI-1.
Rendre la distillation de connaissances suffisamment abordable pour un usage à grande échelle
Une méthode vise à réduire drastiquement le coût de la distillation de modèles, la rendant accessible pour un déploiement massif.
Des startups rivalisent pour succéder aux Transformers
L'architecture actuelle des LLMs atteint ses limites. Plusieurs acteurs proposent des approches radicales pour réduire les coûts et améliorer le raisonnement.
Battre GPT-5.6 Sol sur la recherche documentaire avec des modèles open 100 fois moins chers
Neon affirme que son modèle Castform surpasse GPT-5.6 Sol sur des tâches de retrieval, pour une fraction du coût d'inférence.
Zero-Mem : opérations mémoire sans tokens pour agents LLM
Une méthode permet aux LLM agents de manipuler la mémoire externe sans consommer de tokens contexte.
MixFrag : quantisation mixte guidée par la fragilité pour Vision Transformers
MixFrag optimise le déploiement des ViT via une allocation de précision adaptative.
Repenser le scaling à l'inférence pour les agents d'usage informatique en local : échecs et arbitrages de calcul
Une étude systématique montre que le calcul supplémentaire à l'inférence n'améliore pas toujours les agents CUA locaux, mais change surtout leur façon d'échouer.
GPT-5.6 : l'alliance de l'intelligence frontier et de l'efficacité
OpenAI dévoile GPT-5.6, optimisant l'efficacité de l'inférence et des workflows agents pour maximiser l'intelligence par dollar.
Router avec discernement : l'allocation adaptative à la confiance pour le MoE-LoRA
Une nouvelle méthode de routage ajuste dynamiquement le nombre d'experts activés selon l'incertitude du modèle, token par token.
MMOE : moderniser les Diffusion Transformers avec des experts efficaces
MMOE adapte les principes des MoE de LLM aux modèles de diffusion pour améliorer convergence et qualité.
κ-LoRA : le nombre de conditionnement révèle quelles matrices LoRA méritent d'être mises à jour
Une méthode sélective réduit de moitié les paramètres entraînables du fine-tuning LoRA en ciblant les matrices les plus informatives.
PyroDash : inférence collaborative token par token entre petits et grands modèles de langage
Un framework où un petit modèle décide lui-même quand solliciter un LLM, réduisant fortement les coûts d'inférence sans sacrifier la précision.
ROMS-IMLE : approche minimaliste pour la génération en une étape
Une méthode minimaliste rivalisant avec les modèles de diffusion sur ImageNet sans débruitage itératif.
PPL-Factory : sélection de données pour le fine-tuning
Un framework task-aware et budget-aware qui optimise le fine-tuning des LLM en sélectionnant 1% à 10% des données.
Extension in-place du tokenizer pour les LLM pré-entraînés
Une méthode pour agrandir le vocabulaire d'un modèle déjà entraîné sans repartir de zéro, appliquée à LFM2.5-8B-A1B.
Abandon précoce des épisodes d'agents LLM par cascade de sondes à rappel contrôlé
Des chercheurs montrent que l'échec d'un agent LLM est prévisible dès le premier tour via ses représentations internes, permettant d'économiser jusqu'à 47 % du calcul d'inférence.
Une seule couche suffit-elle ? Un unique layer Transformer égale l'entraînement RL complet
Une étude montre qu'affiner un seul layer d'un Transformer via RL atteint des performances comparables à l'entraînement complet de tous les paramètres.
Une startup affirme avoir levé un verrou algorithmique qui freine les LLM
Subquadratic, basée à Miami, dit avoir résolu le problème de complexité quadratique des LLM grâce à la « sparse attention ». Des tests indépendants semblent prometteurs.
Kimi Linear : Une architecture d'attention expressive et efficace
Moonshot AI propose une nouvelle méthode d'attention optimisée pour réduire la complexité computationnelle.