Apprentissage par renforcement
Fellow suit ce sujet depuis avril 2026 : 190 articles résumés en français, dont 48 jugés majeurs ou notables.
Toute l'actualité · 190 articles
Un écart d'optimalité en O(1/N) pour les MDP faiblement couplés à récompense moyenne
Des chercheurs proposent une nouvelle politique qui dépasse la borne classique en 1/√N pour une famille de processus de décision markoviens couplés.
Apprendre la réflexion native dans les modèles unifiés via du RL entrelacé
Une méthode de RL entraîne conjointement diagnostic textuel et révision d'image pour que les modèles unifiés corrigent leurs propres générations.
KV-streams : une méthode pour accélérer la compaction de contexte en RL agentique
Un nouveau mécanisme évite de reconstruire le cache KV à chaque compaction, avec un gain de vitesse d'entraînement jusqu'à 5x.
Une auto-rétrospection étonnamment simple améliore les modèles agentiques sans RL
Une méthode de fine-tuning basée uniquement sur des explications rétrospectives rivalise avec GRPO sur SWE-bench, sans reward ni verifier.
Le « harness learning » permet une adaptation généralisable au moment de l'inférence
Une nouvelle méthode entraîne un modèle proposeur à réviser le harness d'un agent via retour d'exécution, sans mise à jour des poids.
X-Reset : passer à l'échelle le RL centré-objet grâce à des resets cross-embodiment
Un nouveau cadre de RL utilise des démonstrations main-objet humaines pour résoudre l'exploration en manipulation robotique dextre.
Hugging Face accueille les environnements de RL sur le Hub
La plateforme étend son catalogue aux environnements d'apprentissage par renforcement, destinés à l'entraînement d'agents IA.
Trust Guided Decision Transformer : sélectionner le contexte avant le guidage par valeur
Une méthode qui détecte la dérive du contexte dans le Decision Transformer et filtre les suffixes fiables avant de choisir l'action optimale.
L'échantillonnage stratégiquement diversifié améliore l'auto-entraînement des LLM
Privilégier la diversité des stratégies plutôt que la seule exactitude des réponses produit de meilleures données d'auto-entraînement pour les LLM.
AD-WM : des world models discriminants sur l'action pour le contrôle prédictif contrefactuel
Une nouvelle méthode de world model améliore fortement la planification robotique en distinguant mieux les actions candidates plutôt que la seule prédiction factuelle.
Inversion temporelle de gradients pour la reconstruction de trajectoires privées en RL incarnée
Une nouvelle attaque par inversion de gradients exploite la structure temporelle des gradients de politique pour reconstituer quasi-parfaitement les trajectoires privées des agents en RL incarnée.
Qu'est-ce que le RLCD ? La méthode qui expliquerait les performances de Jev
Un article de blog décortique le RLCD, une technique d'entraînement par renforcement citée comme clé du modèle Jev.
Quand et où faire confiance à l'enseignant : unifier distillation on-policy et GRPO via attribution de crédit calibrée par l'entropie
Une nouvelle méthode combine signaux du vérificateur et du modèle enseignant dans GRPO pour affiner l'apprentissage du raisonnement mathématique token par token.
Une méthode décentralisée pour la décision d'équipe en observation partielle avec partage différé d'information
Un nouveau cadre théorique permet à des agents en équipe d'apprendre des politiques quasi-optimales sans coordinateur central ni modèle connu du système.
Annotations séquentielles optimales pour l'évaluation off-policy
Une méthode statistique pour arbitrer entre annotation automatique bruitée et expertise humaine coûteuse en évaluation off-policy.
Critical-State RL : diagnostiquer les états entraînables dans l'usage d'outils multi-tours
Une méthode identifie précisément quels appels de modèle méritent l'entraînement dans les interactions multi-tours avec outils, améliorant les performances de 14 points sur certaines tâches.
CodeMidas : générer des environnements RL pour agents de code à partir du code source seul
Une pipeline agentique transforme des dépôts open-source en environnements d'entraînement RL, sans dépendre des issues ou commits.
RecreationWorld : environnements évolutifs et vérifiables pour agents hybrides d'usage d'ordinateur
Un nouveau framework multi-plateforme entraîne des agents à mélanger interaction GUI et développement logiciel via des tâches de recréation vérifiables.
Le "score centering" stabilise l'apprentissage par renforcement off-policy
Une correction additive corrige le biais de dérive entre moteurs d'entraînement et d'inférence, source d'instabilité du RL sur les LLM.
RetireOPD : auto-retraite pour distillation on-policy
Une méthode de distillation adaptative améliore les agents RL en désactivant le professeur une fois l'étudiant performant.
ScienceIDE : transformer le code scientifique mondial en environnements d'apprentissage pour agents
Une infrastructure convertit les dépôts de code scientifique en environnements exécutables pour entraîner et évaluer des agents IA.
Apprendre à résoudre des problèmes difficiles en RL pour LLM en ne renonçant jamais
Un article de blog explore comment appliquer les principes de « Never Give Up » à l'apprentissage par renforcement des LLM sur des tâches complexes.
ScienceBuddy : auto-amélioration récursive imbriquée pour agents scientifiques interactifs
Un espace de travail de recherche qui combine évolution du harness et renforcement du modèle pour des agents scientifiques qui s'améliorent en continu.
Bellman Policy Optimization : méthode de RL sans critique
Une nouvelle approche BPO optimise les politiques d'IA sans estimateur de valeur, améliorant le raisonnement mathématique.
Safe Meta-RL via l'accessibilité dans l'espace d'information
Un nouveau cadre de meta-reinforcement learning garantissant la sécurité lors de l'adaptation à de nouvelles tâches.
Lien entre contrôle, inférence, transport et thermodynamique
Une synthèse explore les connexions théoriques entre cinq disciplines : contrôle, transport optimal, inférence, thermodynamique et machine learning.
ASTRIL-MPC : guidage par langage et MPC pour robots chenillés
Un framework de contrôle combine LLM et NMPC pour améliorer l'autonomie et la sécurité des robots articulés en milieux complexes.
CanvasAnneal : apprentissage par renforcement à curriculum pour modèles de langage à diffusion
Une méthode injecte des traces de raisonnement d'un modèle enseignant pour débloquer l'exploration en RL sur les modèles de diffusion.
Exploration de l'espace des experts en RL MoE
ESRL est un nouveau cadre qui optimise l'exploration des modèles MoE via le routage stochastique.
Une vue unifiée et contrainte de l'apprentissage par renforcement robuste basé sur la régularisation
Des chercheurs proposent un cadre théorique unifiant les méthodes de régularisation contre les perturbations adversariales en RL profond.
MCRL2 : apprentissage de représentation par cross-attention et RL pour l'orchestration de microservices cloud
Une nouvelle méthode combine cross-attention multi-ressources et apprentissage par renforcement pour mieux répartir la charge dans les datacenters.
Artificial Id : pilotage et alignement persistant en IA agentic
Une nouvelle approche internalise la motivation des agents pour gérer la persistance et l'alignement.
Apprentissage par renforcement multi-agent pour drones anti-incendie
Un cadre DRL permet à des drones de naviguer et surveiller des feux de forêt simulés.
Des biais sociaux émergent chez les LLM via l'exploration adaptive
Une étude montre que les grands modèles de langue développent de nouveaux préjugés sociaux au cours de l'exploration adaptative.
ERPO : optimisation de politique pour le code à l'exécution
Une méthode de reinforcement learning test-time exploitant des probes exécutables pour améliorer les modèles de code.
ExecCritic : apprentissage et tests pour agents de code
Une méthode sépare la génération de tests de la réparation pour améliorer les performances des agents.
Cet entrepreneur de l'IA développe des agents capables d'anticiper l'imprévu
Danijar Hafner mise sur les world models et le reinforcement learning pour permettre à des robots humanoïdes de s'adapter à des environnements inconnus.
Apprentissage PAC robuste de jeux stochastiques concurrents
Un nouveau cadre PAC pour les jeux stochastiques concurrents garantit un équilibre de Nash ou certifie son inexistence.
Sentinel-RL : externaliser le raisonnement topologique des agents LLM dans le SOC
Une architecture hybride couple un encodeur de graphe et un agent PPO pour fiabiliser les LLM analystes en cybersécurité à grande échelle.
Entraîner un modèle de code à peindre des aquarelles avec TRL et OpenEnv
Hugging Face détaille une expérience de reinforcement learning appliquant un modèle de génération de code à une tâche créative inhabituelle.
Post-entraînement de LLM pour atteindre le niveau médaille d'or en compétitions de programmation
Nemotron-3-Ultra-CC dépasse le meilleur score humain à l'IOI 2026, une première pour un système d'IA sur ce type d'épreuve.
SafeEvolve : co-évolution harness-politique à partir de l'expérience des agents pour l'alignement de sécurité
Un nouveau cadre fait évoluer conjointement l'environnement d'exécution et la politique des agents LLM pour réduire les comportements dangereux.
L'essor du reinforcement learning verbal pour les agents linguistiques
Une taxonomie unifiée montre comment le feedback en langage naturel façonne les agents IA, du cadrage de tâche à l'entraînement des paramètres.
Facet-0 : un modèle fondation robotique pour la manipulation précise avec contact
Un nouveau modèle robotique prédit les forces de contact générées par ses actions pour atteindre une précision sub-millimétrique en assemblage.
Guidage sélectif par entropie : apprendre des politiques autonomes à partir de VLM enseignants imparfaits
SAGE interroge un VLM seulement en cas d'incertitude pour distiller une politique RL légère, autonome à l'évaluation.
SUN : des programmes persistants pour unifier contrôle, apprentissage et politiques réelles guidées par le langage
Un nouveau système, Kuafu, synthétise automatiquement des programmes sémantiques pour entraîner des politiques robotiques sans démonstrations ni récompenses manuelles.
PaperGym : un environnement d'entraînement basé sur des rubriques pour générer des plans de recherche
Un nouveau framework transforme les papiers scientifiques en environnements d'entraînement RL pour évaluer la planification de recherche des IA, sans fuite de critères.
S3Gym : évaluation de l'auto-amélioration des LLM
Un nouveau benchmark teste si les agents peuvent apprendre de leurs propres erreurs.
Aero Hand Open : main tendue simulation-ready
Une main anthropomorphe à câbles optimisée pour l'apprentissage par renforcement en simulation.
REPLICANT : des politiques d'apprentissage pour contourner et renforcer les détecteurs de malwares
Un framework de deep reinforcement learning en boîte noire surpasse l'état de l'art pour évader les détecteurs Android, et pour les rendre plus robustes.