SymptomAI : un agent conversationnel pour l'évaluation quotidienne des symptômes

L'étude présentée dans ce preprint arXiv marque une étape notable dans l'évaluation des agents conversationnels en médecine clinique réelle. Contrairement à la grande majorité des travaux antérieurs sur les LLM appliqués au diagnostic, qui reposent sur des vignettes cliniques élaborées ou des cas complexes sélectionnés, SymptomAI a été conçu et testé dans des conditions d'utilisation quotidienne, auprès d'une population ordinaire de porteurs de dispositifs connectés.

Le système repose sur un ensemble d'agents distincts déployés au sein de l'application Fitbit de Google. L'étude a randomisé 13 917 participants entre cinq variantes de ces agents, produisant un corpus de conversations patient-IA d'une ampleur inhabituelle pour ce type de recherche. L'objectif principal de chaque agent est de conduire un entretien structuré sur les symptômes déclarés par l'utilisateur, puis de générer un diagnostic différentiel (DDx). Ce pipeline end-to-end — de l'interview à la conclusion diagnostique — constitue précisément ce que les auteurs désignent sous le terme de stratégie "agentique" dédiée, par opposition aux conversations libres où c'est l'utilisateur qui guide l'échange, comme c'est le cas dans la plupart des assistants LLM grand public.

Le résultat central de l'étude est statistiquement robuste : les DDx produits par SymptomAI se sont révélés significativement plus précis que ceux de cliniciens indépendants travaillant à l'aveugle sur les mêmes dialogues, avec un odds ratio de 2,47 (p < 0,001). Cette comparaison a porté sur 517 cas issus d'un sous-ensemble de 1 228 participants ayant rapporté un diagnostic posé par un clinicien, évalués lors de plus de 250 heures d'annotation par un panel de cliniciens. Le fait que la comparaison soit réalisée sur les mêmes transcriptions de dialogue, à la fois pour les cliniciens humains et pour le système IA, constitue une forme de contrôle méthodologique important : les cliniciens et l'IA disposaient du même niveau d'information.

Un deuxième résultat structurant concerne la supériorité nette des stratégies agentiques structurées sur les conversations libres (p < 0,001). Lorsqu'un agent conduit un entretien orienté et complet avant de formuler un DDx, les performances diagnostiques s'améliorent substantiellement. Ce constat a une implication directe pour le design des systèmes LLM destinés à des usages médicaux : laisser l'utilisateur guider librement la conversation — ce qui est la norme dans les assistants conversationnels actuels — est une approche sous-optimale pour la qualité diagnostique.

L'étude ne se limite pas à la performance diagnostique. Les auteurs ont utilisé les DDx générés par SymptomAI comme labels pour l'ensemble des 13 917 participants afin d'analyser plus de 500 000 jours de données physiologiques issues des wearables, couvrant près de 400 pathologies distinctes. Des associations fortes ont été identifiées entre infections aiguës et variations physiologiques mesurées par les capteurs — notamment un odds ratio supérieur à 7 pour l'association entre grippe et marqueurs physiologiques spécifiques. Cette utilisation des diagnostics IA comme proxy de labellisation à grande échelle représente une approche méthodologique que d'autres travaux pourraient reproduire dans des contextes de recherche en santé numérique.

La généralisation des résultats a par ailleurs été vérifiée sur un panel indépendant de 1 509 personnes issues de la population générale américaine, non limité aux utilisateurs de Fitbit, ce qui atténue partiellement le biais de sélection inhérent aux études basées sur des wearables.

Plusieurs limites méritent d'être signalées. La vérité terrain repose principalement sur des diagnostics auto-rapportés par les participants, ce qui introduit une incertitude sur la qualité du gold standard. De plus, l'étude ne documente pas de façon détaillée les architectures LLM sous-jacentes employées pour chaque variante d'agent, ni les mécanismes de prompt engineering ou de fine-tuning éventuellement appliqués. Les questions de sécurité, d'hallucination diagnostique et de comportement en cas de symptômes graves ne sont pas traitées explicitement dans l'abstract.

Ce travail soulève également des questions ouvertes sur la régulation de tels systèmes déployés à grande échelle via des applications grand public, sur la responsabilité médicale en cas de DDx erroné, et sur la manière dont ces agents pourraient s'intégrer dans des parcours de soins formels plutôt qu'en remplacement d'une consultation initiale.