Fine-tuning
Fellow suit ce sujet depuis avril 2026 : 114 articles résumés en français, dont 21 jugés majeurs ou notables.
Toute l'actualité · 114 articles
Rendre les modèles de langage cliniques auditables via un fine-tuning guidé par concepts
CAST utilise des autoencodeurs épars pour détecter et supprimer les artefacts de notes médicales, rendant les prédictions de mortalité plus robustes et traçables.
Fine-tuning de Whisper pour la reconnaissance vocale en baniwa : une étude préliminaire
Des chercheurs adaptent Whisper à une langue arawak parlée au Brésil, en Colombie et au Venezuela, avec seulement 0,54 heure d'audio annoté.
Théorie du rang optimal pour les adaptateurs LoRA
Une nouvelle borne mathématique définit l'erreur minimale atteignable par le fine-tuning LoRA en fonction du rang.
Entraîner et affiner des modèles d'embeddings multi-vecteurs avec Sentence Transformers
Hugging Face détaille comment entraîner et fine-tuner des modèles d'embeddings multi-vecteurs via la bibliothèque Sentence Transformers.
Corriger le désalignement induit par le raisonnement via une pénalité de direction de sécurité
Une étude montre que le fine-tuning sur des données de raisonnement peut dégrader la sécurité des LLM, et propose une méthode pour y remédier sans sacrifier les performances.
AUSO : optimisation unifiée des compétences au niveau des actions, de l'internalisation à l'utilisation
Une nouvelle méthode d'entraînement d'agents module l'usage des compétences action par action, au lieu d'un choix uniforme pour toute une trajectoire.
CLEAR : un routage d'adaptateurs latents pour aligner la sécurité des LLM sans sacrifier l'utilité
Une méthode de fine-tuning conditionnel réduit fortement les réponses nuisibles tout en préservant les performances sur les tâches bénignes.
Bons résultats pour l'apprentissage d'un nouveau domaine avec Qwen 3 4B
Expériences concluantes d'entraînement de Qwen 3 4B sur un domaine spécifique.
Au-delà de la vraisemblance du teacher : distillation on-policy calibrée par groupe pour le raisonnement long-contexte
Une méthode de distillation corrige le désaccord entre teacher et vérificateur pour améliorer le raisonnement sur des contextes longs.
Stratégies de fine-tuning pour la requête de sons par imitation vocale
Deux approches de fine-tuning (contrastif et triplet) ont permis de remporter le challenge AES AIMLA 2025 sur la recherche sonore par imitation vocale.
Ornith-1.5 : auto-étayage et auto-amélioration
Ornith-1.5 explore une méthode de self-improvement itérative basée sur du self-scaffolding pour booster les performances des LLM.
SLMs et géométrie d'embeddings pour la catégorisation de factures
L'étude explore l'usage de petits modèles de langage internes pour classifier les factures financières avec précision.
Approximate Muon avec adaptateurs low-rank
Le sMuon étend l'optimiseur Muon au fine-tuning efficace pour améliorer les performances LoRA.
Fusion de modes de raisonnement : une étude systématique de l'entraînement des LLM en mathématiques
Une étude analyse les compromis entre mode « réflexion » et mode concis lors de l'entraînement conjoint de LLM sur des problèmes mathématiques.
CalibForge : calibration adversariale de solveurs pour générer des tâches terminales apprenables
Un système autonome ajuste des tâches d'agents terminaux selon leur difficulté réelle pour un solveur donné, améliorant nettement les performances d'entraînement.
Finance Commons : corpus financier ouvert
PleIAs publie Finance Commons, un vaste corpus ouvert pour le LLM fine-tuning.
Reasoning Core : données procédurales pour le raisonnement
Une collection de 50 générateurs pour l'entraînement supervisé par complétion, améliorant les performances sur DROP et ARC-Challenge.
Adaptation de Nemotron pour le grec moderne
Adaptation complète de la stack Nemotron pour le RAG en grec moderne, avec création du benchmark HERA.
ABSeeker : entraîner des agents de recherche long-horizon via une attribution de crédit rétropropagée depuis la réponse
Un nouveau framework transforme les récompenses binaires éparses en supervision dense étape par étape pour mieux entraîner les agents de recherche multi-étapes.
TACT : un post-entraînement aligné sur des taxonomies pour un tutorat d'anglais pédagogiquement adaptatif
Un cadre associant taxonomies pédagogiques et RL affine un LLM pour qu'il adapte ses stratégies de tutorat comme un enseignant humain.
Show HN : fine-tuner un modèle 8B sur un GPU de laptop de 4 Go
Un projet open source promet d'entraîner des modèles de 8 milliards de paramètres sur du matériel grand public très limité en mémoire.
Derniers artefacts open source (#23) : Laguna S2.1, Inkling et Kimi K3 illustrent l'intérêt des modèles ouverts sur la frontière de Pareto
Contrairement aux prédictions de consolidation du secteur, de plus en plus de labs se lancent dans l'entraînement de modèles ouverts performants et rentables.
Symbio : boucle d'auto fine-tuning pour l'IA
Un outil open source implémentant une boucle autonome d'amélioration par fine-tuning pour les modèles d'IA.
Show HN : expériences minimalistes de post-training LLM sur GPU 8 Go (SFT, DPO, GRPO)
Un projet open source propose des scripts légers pour tester SFT, DPO et GRPO sur du matériel grand public limité à 8 Go de VRAM.
Séquençage automatique pour le fine-tuning multi-politique des LLM
Un nouveau cadre organise les chemins d'optimation pour améliorer l'efficacité du Parameter-Efficient Fine-Tuning.
Faut-il vraiment pré-entraîner les Q-fonctions pour le RL online ?
L'étude remet en cause l'intérêt du pré-entraînement des Q-fonctions lors du fine-tuning online en RL.
ACA : Adaptation Contextualisée pour Modèles CT
Un framework léger adapte les modèles CT pour aligner vision et langage au niveau anatomique.
MindForge : entraîner de petits LLM à l'ingénierie logicielle complète via la synthèse de programmes sans code source
Un pipeline automatisé génère des environnements d'entraînement pour apprendre à des modèles compacts à coder des programmes entiers, de zéro à la maintenance.
Relay-OPD : une méthode de distillation on-policy qui corrige les trajectoires de raisonnement défaillantes
Un nouveau mécanisme de relais enseignant-élève réduit l'échec en cascade lors de la distillation, avec des gains mesurables sur le raisonnement mathématique.
Router avec discernement : l'allocation adaptative à la confiance pour le MoE-LoRA
Une nouvelle méthode de routage ajuste dynamiquement le nombre d'experts activés selon l'incertitude du modèle, token par token.
Un fine-tuning RL à 500$ sur un modèle 9B surpasse les modèles frontier
Un fine-tuning par renforcement peu coûteux permet à un petit modèle open-weights de dépasser les SOTA sur une tâche de revue de catalogue.
Au-delà de l'échelle et de la génération : comprendre l'entity matching avec des modèles de langage
Une étude factorielle contrôlée de 1 215 runs isole l'effet de l'architecture, de la variante et de la taille des modèles sur l'entity matching.
κ-LoRA : le nombre de conditionnement révèle quelles matrices LoRA méritent d'être mises à jour
Une méthode sélective réduit de moitié les paramètres entraînables du fine-tuning LoRA en ciblant les matrices les plus informatives.
MedGame : la ludification narrative par LLM pour l'éducation médicale
Un framework transforme des cas cliniques en jeux interactifs structurés via une architecture à double moteur.
DONDO : modèles ouverts de reconnaissance vocale w2v-BERT pour les langues africaines
Vingt-six modèles ASR en licence Apache-2.0 couvrent 27 langues africaines, avec des taux d'erreur mots comparables aux baselines monolingues.
NVIDIA : personnaliser Nemotron 3 Nano avec Prime Intellect Lab
Une nouvelle solution permet de simplifier et d'accélérer le fine-tuning du modèle Nemotron 3 Nano via Prime Intellect Lab.
LKValues : aligner les LLM sur les valeurs sociétales sri-lankaises
Un nouveau benchmark et corpus d'instruction en cinghalais-anglais pour corriger le biais occidental de l'alignement des valeurs des LLM.
ISO : une pile d'optimisation native pour le RLVR
Une nouvelle approche exploite la structure spectrale des poids pour accélérer et fusionner des modèles entraînés par RLVR, avec des gains d'efficacité mesurables.
Adaptation et récupération sélectives par espace d'états pour le raisonnement des LLM
Deux nouveaux adaptateurs inspirés de Mamba ajoutent une mémoire dynamique au LoRA, avec des gains mesurables sur le raisonnement multi-sauts.
Les multiples facettes de la similarité visuelle : une métrique perceptuelle d'image guidée par texte
Un nouveau benchmark et une métrique VLM permettent de conditionner la similarité visuelle selon un aspect précis (forme, couleur, etc.).
PPL-Factory : sélection de données pour le fine-tuning
Un framework task-aware et budget-aware qui optimise le fine-tuning des LLM en sélectionnant 1% à 10% des données.
OR Else : une région de confiance différentiable pour l'optimisation de politique
Une alternative lisse au clipping de PPO et GRPO testée sur Llama-3.2-1B pour le post-entraînement de LLM par RLHF.
LoRA Speedrun : un classement public en temps réel pour les techniques de fine-tuning
Un leaderboard open source mesure la rapidité des différentes méthodes de fine-tuning LoRA sur des tâches standardisées.
CRAFT : regrouper les rubriques d'évaluation pour diagnostiquer les faiblesses des LLM et cibler le fine-tuning
Une méthode qui transforme les évaluations par rubrique en diagnostic précis des capacités faibles d'un modèle, pour générer des données de fine-tuning ciblées.
Fine-tuning vidéo et image à grande échelle avec NVIDIA NeMo
Hugging Face intègre NVIDIA NeMo Automodel à Diffusers pour accélérer l'entraînement distribué.
NVIDIA détaille le post-entraînement de Cosmos 3 en une journée via des agents autonomes
NVIDIA montre comment des agents de codage automatisés accélèrent l'adaptation de modèles de raisonnement visuel pour la production vidéo.
Show HN : un agent entraîné par RL pour entraîner d'autres modèles via RL (pour environ 1 300 $)
Un développeur détaille un projet où un agent, lui-même entraîné par renforcement, orchestre l'entraînement RL d'autres modèles à faible coût.
Fusion multimodale en cascade par LoRA pour la reconnaissance d'actions médicales
Une approche basée sur LoRA fusionne progressivement plusieurs modalités pour la reconnaissance d'actions en formation médicale.
PAC-ACT : post-entraînement acteur-critique pour les transformers à découpage d'actions
Un framework de reinforcement learning affine les politiques robotiques pré-entraînées pour les tâches de manipulation industrielle à contact précis.
Génération de données synthétiques pour la recherche IA financière avec NVIDIA NeMo
NVIDIA détaille comment combler les lacunes des datasets financiers déséquilibrés grâce à la génération de données synthétiques via NeMo.