HILBERT : alignement contrastif dual centré sur les joints pour représentations audio-texte longues

HILBERT est un framework multimodal qui apprend des représentations document-level audio-texte à partir de séquences longues et segmentées en contexte low-resource. Il introduit un objectif contrastif dual réciproque alignant chaque modalité vers un espace joint commun, plutôt que de contraster directement audio et texte. Deux régularisateurs auxiliaires (CKA et équilibrage d'information mutuelle) stabilisent la fusion longue séquence. Un classifieur MoE sur les représentations concaténées gère des régimes de labels hétérogènes.