Compromis dans l'adaptation médicale des LLM : étude empirique en QA français

Des chercheurs évaluent plusieurs stratégies d'adaptation de LLM au domaine médical en français : continual pretraining (CPT), supervised fine-tuning (SFT) et leur combinaison, sur trois familles de modèles et plusieurs tailles. Pour le QA à choix multiples, CPT+SFT obtient les meilleurs scores, mais les gains sur SFT seul restent faibles et souvent non significatifs. Pour le QA ouvert, le CPT améliore les métriques de recouvrement tandis que le SFT dégrade la qualité générée. L'étude fournit des recommandations pratiques sous contraintes computationnelles.