Thinking Machines lance TML-Interaction-Small, un MoE 276B pour la voix temps réel

Thinking Machines Lab, le laboratoire fondé notamment par Mira Murati, a publié TML-Interaction-Small, un modèle MoE de 276 milliards de paramètres avec 12 milliards de paramètres actifs, conçu spécifiquement pour l'interaction humain-IA en temps réel. Cette publication marque la troisième apparition publique du lab en un an et représente un changement d'hypothèses architecturales plus qu'une simple itération de performance.

L'architecture repose sur une fusion précoce sans encodeur (encoder-free early fusion), inspirée de l'approche de Meta avec Chameleon : images et audio sont traités dans un flux unifié, sans modules spécialisés séparés pour chaque modalité. Le traitement s'effectue en moins de 200 ms, ce qui permet de gérer des flux continus de « microturns » temporellement alignés, découpés en tranches de 200 ms. Cette conception contraste avec les systèmes actuels qui empilent des couches de traitement vocal, de gestion des tours de parole et d'appel d'outils sur un LLM initialement conçu pour le texte.

Sur les benchmarks officiels disponibles, le modèle surpasse GPT-Realtime-2 et Gemini 2.5-Flash (référencé dans l'article sous l'alias Gemini 3.1-Flash) sur des évaluations standard comme BigBench Audio et IFEval. Mais l'équipe considère ces métriques insuffisantes pour capturer le niveau d'interactivité visé, ce qui l'a conduite à définir deux nouveaux benchmarks internes.

TimeSpeak évalue la capacité du modèle à initier la parole à des moments spécifiés par l'utilisateur — par exemple, rappeler à un utilisateur de respirer toutes les quatre secondes à la demande. CueSpeak teste si le modèle peut intervenir au bon moment selon un critère contextuel, comme corriger automatiquement un mot lors d'un changement de langue dans une conversation. Deux autres protocoles complètent ce dispositif : RepCount-A, adapté à un comptage continu d'actions répétées dans des vidéos, et ProactiveVideoQA, qui pénalise les réponses incorrectes et accorde un crédit partiel au silence, forçant le modèle à n'intervenir qu'au moment précis où l'information est disponible dans le flux vidéo.

Ces benchmarks adressent un problème identifié comme structurel par plusieurs commentateurs techniques : l'interactivité native, c'est-à-dire la capacité à écouter, parler, observer et réagir simultanément sans délimitations explicites entre phases, constitue la véritable innovation, davantage que les seules performances brutes sur des benchmarks existants. John Schulman et Soumith Chintala, tous deux associés au projet, ont décrit cette orientation comme un problème de « bande passante » entre humain et machine : le type de signal passe d'un échange texte discret à un flux continu audio + vidéo + texte vers audio + texte, ce qui rend accessibles en zero-shot des tâches qui nécessitaient auparavant des systèmes dédiés.

Parmi les démos publiées, celles centrées sur la proactivité visuelle ont retenu l'attention : détecter une posture incorrecte, compter des répétitions d'exercices, signaler le début ou la fin d'une action dans une vidéo en temps réel. Des observateurs comme @liliyu_lili et @rown ont souligné que cette proactivité visuelle constitue un primitif absent des systèmes actuels. L'infrastructure de déploiement s'appuie sur SGLang, selon des informations relayées dans les fils de discussion associés.

Le billet technique se conclut sur des indications de roadmap, notamment le couplage envisagé entre agents de fond (background agents) et modèles interactifs : les agents pourraient effectuer des recherches ou des appels d'outils de manière transparente pendant qu'une interaction vocale se poursuit, sans signaler explicitement les transitions entre modes. Cette piste soulève des questions ouvertes sur la gestion de la cohérence entre les résultats asynchrones des agents et le flux temps réel de la conversation, ainsi que sur les compromis de latence induits par un MoE de cette taille dans des environnements de production à faible tolérance aux délais.

La publication intervient le même jour que la diffusion d'une conférence de Neil Zeghidour, PDG de Gradium (spin-off commercial de Kyutai Moshi), sur les limites encore à franchir pour la voix temps réel — coïncidence soulignée par Latent Space comme révélatrice d'un front de recherche qui s'intensifie simultanément sur plusieurs fronts.