Aller au contenu
Édition du soir · N° 574 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE

OmniScientist : un scientifique IA omni-modal multi-disciplines

Ce système automatise le workflow de recherche complet, de la génération d'hypothèses à la rédaction, en traitant des données brutes hétérogènes.

arXiv·Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee·13 août 2026
OmniScientist : un scientifique IA omni-modal multi-disciplines
Image · Source originale
OmniScientist est un agent IA omni-modal capable de mener des recherches multi-disciplinaires de bout en bout en exploitant des preuves brutes hétérogènes (images, audio, vidéo, graphiques). Il combine une couche de perception et trois agents autonomes pour l'idéation, l'expérimentation et la rédaction, assurant la validité statistique et la traçabilité. Testé sur 36 cas réels, il parvient à produire un manuscrit complet pour chacun d'entre eux avec un score moyen de 6,3.

Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille

Développement

· Généré par GLM 4.7
↓ LIRE LE DÉVELOPPEMENT · 2 MIN← MASQUER LE DÉVELOPPEMENT

OmniScientist se positionne comme une évolution majeure des systèmes d'automatisation scientifique en intégrant une capacité omni-modale directement au cœur du processus de recherche. Contrairement aux modèles précédents qui se limitent souvent à l'analyse de textes, de code ou de résumés précalculés, cette architecture est conçue pour exploiter des preuves brutes hétérogènes. Le système ne se contente pas de traiter l'information synthétisée, mais accède aux données primaires telles que les images, les signaux, l'audio, la vidéo, les structures 3D, les trajectoires, les tableaux, les formules et les graphiques. Cette approche vise à restituer à l'agent les relations spatiales, temporelles, inter-canales et procédurales qui sont souvent perdues lors de la simplification des données en scalaires ou en textes, éléments pourtant déterminants pour une découverte scientifique valide.

L'architecture fonctionnelle repose sur une séparation claire entre une couche de perception et trois agents autonomes opérant au sein d'un pipeline déterministe. La couche de perception est chargée de l'ingestion et du traitement des données brutes multi-modales, servant de fondement à tout le raisonnement ultérieur. Viennent ensuite trois agents spécialisés : l'agent d'idéation, chargé de la génération d'hypothèses ; l'agent d'expérimentation, responsable de la conception et de la réalisation des tests ; et l'agent de rédaction, qui compile les résultats en un manuscrit scientifique. Cette structure permet aux observations directes issues des données brutes d'influencer chaque étape du cycle de recherche, de la formulation initiale de la question aux décisions expérimentales, jusqu'aux conclusions finales.

Un aspect crucial de la méthodologie réside dans l'application de contrôles de rigueur directement dans le code exécuté par les agents. Le système intègre des mécanismes pour vérifier la nouveauté des idées (novelty screening), assurer la validité statistique des résultats et garantir l'origine de l'exécution (provenance). Cette traçabilité numérique assure que chaque affirmation revendiquée dans le manuscrit final peut être reliée de manière vérifiable aux données et aux calculs qui l'ont produite. En automatisant ces vérifications, OmniScientist tente de pallier certaines erreurs méthodologiques humaines, bien que la dépendance aux modèles fondationnels sous-jacents pour le raisonnement reste un facteur déterminant de la fiabilité globale.

L'évaluation du système a été menée sur 36 cas de données réelles couvrant cinq familles de disciplines et quatre types de preuves scientifiques. Les résultats indiquent qu'OmniScientist est capable de parcourir l'intégralité du chemin, des données brutes au manuscrit compilé, pour la totalité des cas testés. Le système obtient un score moyen global de 6,3 pour la qualité des papiers générés, une performance qui suggère une viabilité pratique pour l'automatisation de bouts en bouts. De manière significative, les comparaisons par paires avec une variante aveugle ne recevant que des caractéristiques scalaires précalculées démontrent l'importance de la perception directe : la version omni-modale améliore les sept dimensions de l'évaluation et remporte 85 % des jugements face à face.

Ces découvertes soulignent que la perception continue tout au long du cycle de vie de la recherche est essentielle pour des découvertes scientifiques ancrées sur des preuves tangibles. L'étude suggère que l'accès aux données brutes, plutôt qu'à leurs simplifications, offre un chemin pragmatique vers des scientifiques IA largement capables. Toutefois, des questions subsistent quant à la généralisabilité de ces résultats à des domaines nécessitant une instrumentation physique complexe ou des coûts expérimentaux élevés que l'agent ne peut simuler. De même, la capacité du système à véritablement innover au-delà des variations statistiques observées dans les données d'entraînement des modèles fondationnels reste un axe d'investigation ouvert pour la communauté.

OUVRIR LA SOURCE ↗
#agents#multi-modal#automation#research#workflow

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi