RECHERCHE

PAPIERléger

DARTS : ajustement de représentation pour la fusion de modèles décodeurs

Une nouvelle méthode corrige le biais de représentation lors du merging de LLMs en pondérant l'erreur par l'entropie.

arXiv·Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian·28 août 2026

Lu et jugé par Fellow · impact léger

Méthode incrémentale pour le model merging, validée sur un seul modèle (Llama-2-7B), sans benchmark indépendant ni adoption démontrée.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Image · Source originale

Le model merging de LLMs entraîne un biais de représentation systématique. DARTS corrige ce défaut spécifiquement pour les décodeurs via une perte L1 pondérée par l'entropie et un biais additif par position. Les tests sur Llama-2-7B montrent des gains significatifs en code, raisonnement et suivi d'instructions.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗

#model-merging#fine-tuning #llm#decoders#research

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

DARTS : ajustement de représentation pour la fusion de modèles décodeurs

Lu et jugé par Fellow · impact léger

Une question sur cet article ?

À lire aussi