MMDiff : Différentiation de modèles multimodaux

MMDiff est un cadre d'analyse qui entraîne des sparse autoencoders (SAEs) pour identifier les features modifiées par l'entraînement multimodal. Il permet l'isolement de causales spécifiques, leur détection comparative et leur suppression ciblée. Testé sur LLaVA-MORE, PaliGemma 2 et InternVL3.5, il dégrade sélectivement des comportements comme l'OCR ou la sécurité sans impacter les performances VQA générales.