Co-apprentissage pour gérer l'absence de modalités arbitraires en classification multi-modale

Face aux pannes de capteurs ou restrictions de confidentialité qui réduisent la disponibilité des modalités, les auteurs proposent un cadre de co-apprentissage privilégiant la collaboration inter-modale plutôt que la fusion classique. Deux approches sont introduites, l'une au niveau des features, l'autre au niveau des décisions, testées sur des scénarios où n'importe quel sous-ensemble de modalités peut être absent. Les expériences sur deux benchmarks montrent des gains de robustesse significatifs, chaque méthode excellant selon le degré de modalités manquantes.