Spoken Function Calling : une nouvelle approche de la compréhension du langage parlé pour les modèles audio-langage

Les chercheurs proposent le Spoken Function Calling (SFC), une approche qui remplace les règles ambiguës du SLU classique par des définitions structurées, adaptées aux tâches ouvertes. Ils créent le jeu de données SFC-Bench via un système multi-agents, évaluent LLM et LALM, puis améliorent ces derniers par post-entraînement. Les résultats montrent une meilleure précision d'extraction sémantique par rapport au SLU traditionnel.