LoRA
Fellow suit ce sujet depuis avril 2026 : 27 articles résumés en français, dont 6 jugés majeurs ou notables.
Toute l'actualité · 27 articles
WeAct : le changement dynamique de poids comme action d'agent
Des adapters LoRA spécialisés sont sélectionnés par l'agent via le tool-calling, ce qui limite l'oubli catastrophique et surpasse le fine-tuning complet sur huit benchmarks de deep research.
Show HN : Qwen3-4B entraîné pour éliminer les tics d'écriture typiques de l'IA
Un développeur publie qwen3-4b-deslop-v4, un dérivé de Qwen3-4B-Instruct-2507 affiné par LoRA pour réduire les tics stylistiques des LLM, utilisable en local via Ollama ou llama.cpp.
UniSlider : des curseurs perceptuellement uniformes pour l'édition continue d'images
Un LoRA léger rend les curseurs d'édition d'images enfin cohérents avec la perception humaine, sans à-coups ni retours en arrière visuels.
Generative Cinematographer : composer mouvement de caméra et d'objets en 3D
Un système transforme une image unique en scène 3D éditable pour contrôler conjointement caméra et mouvement des objets en génération vidéo.
READ : composer des adaptateurs LoRA sans effacer les compétences déjà apprises
Une méthode qui fige les anciens adaptateurs LoRA et n'autorise que des lectures en une seule direction pour ajouter de nouvelles compétences sans interférence.
Apprentissage par transfert inter-échelles pour la prédiction de la sévérité de la dépression : de PHQ-8 à HAMD-17
Une méthode de transfert séquentiel par LoRA permet de prédire la sévérité de la dépression via des LLM, même avec peu de données cliniques et à travers les barrières linguistiques.
Des hypernetworks générateurs de LoRA pour personnaliser les LLM embarqués sur mobile
Une méthode combine les avantages du in-context learning et du fine-tuning léger pour personnaliser des LLM directement sur smartphone.
MéTRON-FR : évaluation et sensibilité au tokenizer pour un BabyLM français
Un modèle GPT-2 125M entraîné exclusivement sur du français révèle l'importance des benchmarks natifs et la sensibilité au tokenizer.
Async GRPO avec LoRA sur HF Jobs : bucket, proxy et sans NCCL
Optimiser l'entraînement distribué via Async GRPO et LoRA sur Hugging Face Jobs sans dépendre de NCCL.
H3-World : transformer la compréhension du langage en contrôle de monde interactif
Un framework léger convertit un générateur vidéo de 33B paramètres en modèle de monde interactif piloté par instructions en langage naturel.
FACET : un adaptateur unique pour l'apprentissage incrémental
Une méthode FACET utilise un seul adaptateur conditionné par tâche pour lutter contre l'oubli catastrophique sans données passées.
Théorie du rang optimal pour les adaptateurs LoRA
Une nouvelle borne mathématique définit l'erreur minimale atteignable par le fine-tuning LoRA en fonction du rang.
ReWorld : un modèle de monde interactif avec mémoire à long terme
ReWorld sépare contrôle et mémoire pour un streaming vidéo temps réel sur de longs horizons.
Apprentissage continu par adaptateurs pour la reconnaissance de paquets malveillants en few-shot
Un framework hybride combine SSL et LoRA pour détecter de nouvelles familles de malwares avec peu d'exemples, sans oublier les anciennes.
CLEAR : un routage d'adaptateurs latents pour aligner la sécurité des LLM sans sacrifier l'utilité
Une méthode de fine-tuning conditionnel réduit fortement les réponses nuisibles tout en préservant les performances sur les tâches bénignes.
Gains fantômes : auditer l'auto-amélioration face à un témoin mesuré
Une étude méthodologique montre que plusieurs preuves d'auto-amélioration des LLM sont en réalité des artefacts de mesure, une fois comparées à un modèle témoin figé.
Approximate Muon avec adaptateurs low-rank
Le sMuon étend l'optimiseur Muon au fine-tuning efficace pour améliorer les performances LoRA.
Value-of-Information pour le routing de mélanges LoRA
VI-MoLE optimise le routage dans les mélanges d'experts LoRA via l'allocation de valeur de l'information certifiée.
Séquençage automatique pour le fine-tuning multi-politique des LLM
Un nouveau cadre organise les chemins d'optimation pour améliorer l'efficacité du Parameter-Efficient Fine-Tuning.
Router avec discernement : l'allocation adaptative à la confiance pour le MoE-LoRA
Une nouvelle méthode de routage ajuste dynamiquement le nombre d'experts activés selon l'incertitude du modèle, token par token.
κ-LoRA : le nombre de conditionnement révèle quelles matrices LoRA méritent d'être mises à jour
Une méthode sélective réduit de moitié les paramètres entraînables du fine-tuning LoRA en ciblant les matrices les plus informatives.
Adaptation et récupération sélectives par espace d'états pour le raisonnement des LLM
Deux nouveaux adaptateurs inspirés de Mamba ajoutent une mémoire dynamique au LoRA, avec des gains mesurables sur le raisonnement multi-sauts.
Un cadre de validation continue pour jumeaux numériques auto-adaptatifs via contrôle prédictif robuste
Une méthode combine détection de dérive, fine-tuning léger via LoRA et validation statistique pour maintenir la fiabilité des jumeaux numériques industriels.
LoRA Speedrun : un classement public en temps réel pour les techniques de fine-tuning
Un leaderboard open source mesure la rapidité des différentes méthodes de fine-tuning LoRA sur des tâches standardisées.
Fusion multimodale en cascade par LoRA pour la reconnaissance d'actions médicales
Une approche basée sur LoRA fusionne progressivement plusieurs modalités pour la reconnaissance d'actions en formation médicale.
Super Weights dans les LLMs et l'échec de l'entraînement sélectif
Les paramètres jugés critiques dans les LLMs ne sont pas pour autant les meilleurs cibles d'entraînement — une étude remet en question le concept de Super Weights.
LoRA revisité : panorama technique du fine-tuning efficace pour grands modèles
Une revue analytique de LoRA sous l'angle du traitement du signal, couvrant architectures, optimisation et déploiement des LLM.