NarraSpace : preuves multimodales ancrées dans la scène pour classer la démence à partir de descriptions d'image

NarraSpace associe mots et temps de parole à des éléments nommés de l'image et récupère les énoncés liés à des événements prédéfinis de la scène. Un modèle de langage figé contraste le texte de chaque événement selon des exemples de patients Alzheimer et de témoins sains. Sur le jeu de test officiel de 48 participants, un classifieur SVM fixe obtient 80,88 % ± 2,56 % d'accuracy moyenne sur cinquante seeds, et 81,25 % d'accuracy et 91,32 % d'AUC en moyennant les probabilités. Les scores restent reliés aux énoncés sources, intervalles de parole et correspondances lexicales.