Apprentissage par renforcement
Fellow suit ce sujet depuis avril 2026 : 190 articles résumés en français, dont 48 jugés majeurs ou notables.
Toute l'actualité · 190 articles
TTPO : optimisation de politiques au temps de test
Une méthode d'apprentissage sans étiquettes qui combine distillation et RL pour améliorer le raisonnement mathématique.
Améliorer l'exploration LLM par guidage de modèles faibles en RLVR
Une méthode perturbe les trajectoires via des modèles plus faibles pour préserver la diversité et la couverture du raisonnement.
Consolidation RLVR : paradigmes de fusion multi-domaines
Comparaison de Merge, Mix RL et MOPD pour fusionner des modèles experts sans perte de capacités.
VBVR-Pro : suite évolutive et vérifiable pour le raisonnement visuel natif
Un benchmark proposant 300 tâches procédurales et des récompenses vérifiables pour entraîner le raisonnement visuel par génération.
Prefix Sliding : une méthode pour un test-time scaling plus efficace
Une technique qui tronque la mémoire des LLM pendant le raisonnement long, sans perte de performance, pour un scaling moins coûteux.
R³ : entraîner des robots à raisonner en langage naturel via reinforcement learning
Une méthode de post-training transforme des VLMs standards en raisonneurs robotiques capables de guider des politiques de manipulation complexes.
SPO++ : une optimisation de politique alignée sur les flux pour le RL agencique
Une méthode améliorant l'efficacité de l'apprentissage en ligne pour les agents IA utilisant des outils de manière asynchrone.
Améliorer la résolution multi-tâches du problème de tournées de véhicules par préférences augmentées localement
Deux contributions techniques — POLAR et un encodeur PLE — pour renforcer les modèles unifiés résolvant plusieurs variantes du VRP.
Calibration de Bellman pour la pondération par importance marginalisée en apprentissage par renforcement hors ligne
Une méthode de post-traitement isotone corrige les biais des estimateurs de ratio d'occupation sans nécessiter de réoptimisation complète du modèle.
BrowserForge : données d'agents web à grande échelle
Un framework génère des trajectoires d'interaction via des navigateurs parallèles pour entraîner des agents visuels.
BPCO : une méthode stable pour entraîner des critics de LLM
BPCO stabilise l'entraînement des critics en RL, offrant une alternative fiable aux méthodes group-based comme GRPO.
10% moins bon, 100x moins cher, 10000x plus rapide : la simulation prend le dessus
Depuis 2022, chaque étape du pipeline d'entraînement bascule progressivement de l'humain vers le modèle : signal de récompense, données, environnements RL.
Re³Cap : affinement de légendes guidé par retrieval via RL
Une méthode RL exploitant le retrieval multimodal pour réduire les hallucinations et améliorer les légendes d'images.
AUSO : optimisation unifiée des compétences au niveau des actions, de l'internalisation à l'utilisation
Une nouvelle méthode d'entraînement d'agents module l'usage des compétences action par action, au lieu d'un choix uniforme pour toute une trajectoire.
DeepMind : 15 ans de recherches IA en jeu vidéo
Google DeepMind s'associe à des studios pour prototyper des avancées majeures d'IA dans le gameplay.
Apprentissage de l'allocation adaptative du calcul de test
Un modèle LLM apprend à sélectionner le niveau de raisonnement nécessaire par problème, réduisant le coût de calcul de 41%.
SPADE : un framework de self-play pour générer des environnements d'entraînement adaptatifs
Un même LLM conçoit et résout des environnements d'entraînement pour progresser en continu, sans pool de tâches figé.
ADEPT : dextérité robotique par pré-training RL
Un framework RL large échelle pour un transfert sim-to-réel de la dextérité sur des robots à haut DoF.
Apprentissage par renforcement continu pour processus de Hawkes
Un nouvel algorithme, Hawkes-CT DDPG, permet le contrôle stochastique de processus non markoviens.
PGFS++ : optimisation moléculaire sous contraintes
Une méthode RL améliore les propriétés des molécules tout en garantissant leur diversité et leur faisabilité synthétique.
Reward Shaping Invariant et Agents Hybrides RL-LLM
Un cadre théorique garantit la préservation de la politique optimale lors de l'intégration de feedback LLM dans le RL.
QVIRL : apprentissage par renforcement inverse variationnel basé sur Q
Une nouvelle méthode Bayesian IRL qui infère une distribution de récompenses via l'apprentissage d'une distribution sur les Q-values.
HAF : adapter des VLA généralistes aux humanoïdes via flux d'action hiérarchique et RL latent spectral
Un nouveau framework découpe la génération d'actions en étapes séquentielles pour permettre aux robots humanoïdes de coordonner locomotion et manipulation.
Policy Iteration with Human Feedback : post-training RL pour l'in-context learning
L'approche PIHF utilise un LLM comme substrat d'exécution fixe et itère sur des politiques en langage naturel avec supervision humaine.
Rollplex : partage spatial de GPU entre phases pour le post-entraînement de modèles vision-langage
Un nouveau runtime accélère le RL post-training des VLM en chevauchant traitement de préfixe et décodage de rollout sur GPU.
Intern-S2-Preview : un modèle de fondation agentique pour la science
Un nouveau modèle multimodal de 397B paramètres combine raisonnement scientifique, usage d'outils et tâches longues via un pipeline d'entraînement unifié.
Inférence de coûts par redistribution pour le RL offline sûr
Une méthode convertit des signaux d'arrêt épars en coûts denses pour améliorer la sûreté du RL offline.
Un cadre méthodologique pour concevoir des fonctions de récompense alignées sur les préférences humaines
Des chercheurs proposent un processus formel en trois étapes pour aider les non-experts à construire des fonctions de récompense fidèles aux préférences humaines.
MISA-T : ordonnancer les rollouts RL mixtes au-delà de la localité de préfixe
Une nouvelle politique d'admission au niveau routage optimise le partage du cache KV entre RLVR, RLHF et rollouts agentiques lors du post-training des LLM.
CARE-X : un VLM pour radiologie clinique aligné et assisté par outils
Microsoft dévoile CARE-X, un modèle VLM unifié pour la radiologie intégrant apprentissage par renforcement et outils de mesure déterministes.
DSLE : un environnement d'apprentissage pour les combats de boss de Dark Souls
Un benchmark basé sur les 22 boss de Dark Souls: Remastered met en échec les agents RL classiques, seuls des systèmes experts battent le boss tutoriel.
SHE : Évolution de harnais de sécurité pour agents LLM
Un framework apprend des limites sûres évolutives depuis des trajectoires pour sécuriser les agents LLM.
CreativeInstruct : équilibrer qualité et créativité des LLMs
Une méthode d'instruction-tuning introduit des tokens pour injecter de la créativité sans perte de qualité ni diversité.
SkillProx : Évolution de compétences agents par gradient textuel proximal
Une méthode améliore l'adaptation des agents LLM via un diagnostic en boucle fermée et un raffinement proximal.
Fisher-R1 : un agent LLM entraîné pour des tests d'hypothèses statistiquement fiables
Un nouveau benchmark révèle que les agents LLM commettent des erreurs d'inférence subtiles malgré des analyses correctement exécutées.
Gradient de politique de Wasserstein pour le contrôle linéaire-quadratique régularisé par entropie
Une analyse théorique montre que le WPG converge exponentiellement vers la politique optimale linéaire-gaussienne, sans dégradation près de zéro température.
RRC : unlocking generative reward models via ranking
Une méthode RRC aligne les reward models génératifs avec le RL pour de meilleurs signaux d'apprentissage.
Vers des LLM « natifs des compétences » : l'entropie des compétences pour évaluer et entraîner le raisonnement long
Un nouveau benchmark et une méthode RL mesurent et améliorent la capacité des LLM à basculer entre compétences dans des chaînes de raisonnement complexes.
Structure de récompense et mémoire neur
Comment la structure des récompenses influence l'interaction entre exploration épisodique et mémoire neur.
ABSeeker : entraîner des agents de recherche long-horizon via une attribution de crédit rétropropagée depuis la réponse
Un nouveau framework transforme les récompenses binaires éparses en supervision dense étape par étape pour mieux entraîner les agents de recherche multi-étapes.
Launch HN : EdotEnv (YC S26), des environnements RL de trading quantitatif pour entraîner les LLM à la recherche
Une startup issue de YC propose des environnements de reinforcement learning simulant le trading quantitatif pour apprendre aux LLM à mener des recherches complexes.
TurnSight : auto-distillation rétrospective au niveau des tours pour le raisonnement avec outils
Une nouvelle méthode de RL affine l'attribution de crédit dans les LLM utilisant des outils, en exploitant un signal rétrospectif calé sur la structure par tour d'interaction.
Un cadre pédagogique exécutable pour relier IA et systèmes électriques
Des modules Jupyter open-source pour former les ingénieurs énergie à l'IA, du DNN de base au reinforcement learning et aux réseaux physics-informed.
Interaction on-policy en imitation learning : quand aide-t-elle vraiment ?
Une étude théorique montre que l'interaction avec l'expert allège les exigences de représentation du modèle, avec un nouvel algorithme à l'appui.
WCM : un World Critic Model pour le RL Vision-Language-Action
Le WCM corrige l'estimation de valeur dans le RL robotique en modélisant explicitement la dynamique temporelle.
Convergence et regret du gradient de politique pour les bandits multi-bras en environnement de diffusion
Une analyse théorique montre la convergence presque sûre du gradient de politique vers le bras optimal, avec un regret borné en O(log T).
APO : optimisation non supervisée pour la prédiction de structures 3D de systèmes atomiques
Une méthode d'alignement sans données de référence améliore la prédiction de structures cristallines et protéiques via récompenses physiques.
Echoverse : des environnements profonds et évolutifs pour entraîner les agents informatiques
Microsoft Research crée douze mondes d'entraînement à haute fidélité pour agents d'usage informatique, doublant les performances d'un modèle 9B.
Faut-il vraiment pré-entraîner les Q-fonctions pour le RL online ?
L'étude remet en cause l'intérêt du pré-entraînement des Q-fonctions lors du fine-tuning online en RL.
Reinformed Dreamer : un modèle mondial asymétrique optimisé par guidage latent
Une nouvelle méthode d'apprentissage asymétrique améliore les représentations d'état pour les algorithmes de type Dreamer.