Stratégies de fine-tuning pour la requête de sons par imitation vocale

Le rapport technique publié sur arXiv détaille la méthodologie de la soumission victorieuse lors de l'édition 2025 du challenge AES AIMLA, une compétition axée sur la récupération d'informations sonores par imitation vocale. L'objectif principal de cette recherche consiste à mettre en correspondance une imitation vocale humaine, souvent imprécise et variable, avec des effets sonores enregistrés. Pour résoudre cette problématique, les auteurs ont exploré deux stratégies de fine-tuning distinctes appliquées à des réseaux de neurones existants, en exploitant des architectures d'encodeurs pré-entraînées.

La première approche repose sur l'apprentissage contrastif associé à un encodeur CED (Contrastive Encoder for Audio) pré-entraîné et dont les poids sont gelés. Le fine-tuning ne s'effectue pas sur l'encodeur audio lui-même, mais sur les couches supérieures du réseau, permettant d'ajuster l'espace d'embedding pour mieux discriminer les sons sans altérer les représentations spectrales apprises lors du pré-entraînement. Cette méthode vise à stabiliser l'apprentissage en évitant le sur-apprentissage sur un dataset d'imitation vocale potentiellement restreint, tout en tirant parti de la robustesse d'un modèle déjà généralisé sur de larges corpus audio.

La seconde stratégie proposée combine l'apprentissage contrastif et l'apprentissage triplet de manière jointe. Cette technique est déployée en utilisant un encodeur MobileNetV3, une architecture généralement privilégiée pour sa légèreté et son efficacité en inférence. L'innovation réside ici dans l'utilisation de négatifs semi-difficiles lors de la construction des triplets. Contrairement aux négatifs faciles, très distants de l'ancre, ou aux négatifs durs qui peuvent introduire du bruit, les négatifs semi-difficiles sont ceux qui sont proches de l'ancre dans l'espace d'embedding mais qui ne doivent pas être confondus avec elle. Cette approche force le modèle à apprendre des frontières de décision plus fines, ce qui est crucial pour distinguer des sons acoustiquement proches mais sémantiquement différents.

Les résultats obtenus démontrent la complémentarité de ces deux méthodes. Si l'approche basée sur l'encodeur CED gelé offre une base solide grâce à sa capacité de généralisation, l'intégration de la perte triplet avec MobileNetV3 permet d'affiner la précision du système sur les requêtes vocales spécifiques au challenge. L'architecture MobileNetV3 présente par ailleurs l'avantage de la réduction de la complexité computationnelle, un facteur déterminant pour le déploiement de systèmes de recherche audio sur des appareils à ressources limitées ou en temps réel.

Ce travail met en lumière l'importance du choix de la fonction de perte et de la gestion des exemples négatifs dans les tâches d'apprentissage métrique appliquées à l'audio. L'utilisation de négatifs semi-difficiles apparaît comme un levier efficace pour améliorer les performances de récupération sans nécessiter une augmentation massive des données d'entraînement. Le document a été mis à jour après la compétition pour inclure des détails techniques supplémentaires, suggérant que la combinaison de ces stratégies pourrait servir de référence pour les futurs systèmes de recherche par le son basés sur des interfaces vocales naturelles.