IA multimodale
Fellow suit ce sujet depuis avril 2026 : 106 articles résumés en français, dont 25 jugés majeurs ou notables.
Toute l'actualité · 106 articles
LAION-BVD : un dataset vidéo ouvert de 10 millions d'heures pour le pré-entraînement multimodal
LAION publie 80 millions de vidéos annotées automatiquement, une ressource ouverte massive pour entraîner des modèles vidéo, audio et image.
Prédiction de la récupération fonctionnelle chez les seniors
L'utilisation de capteurs multimodaux et d'algorithmes multi-sorties améliore la prédiction des résultats cliniques post-opératoires.
VIALS : un benchmark pour l'interprétation visuelle d'artefacts en sciences de la vie
161 tâches d'interprétation d'images scientifiques révèlent les limites des modèles vision-langage face aux workflows réels de biotech.
DeepSeek publie la doc de son API Vision expérimentale
DeepSeek publie une API pour un nouveau modèle multimodal, DeepSeek-V4-Flash-Vision-Exp, optimisé pour la vitesse.
G-CARL : apprentissage de récompense aligné pour l'interprétation médicale
Un framework RL avec checklist alignée pour améliorer la qualité factuelle et l'accessibilité des interprétations de rapports médicaux.
Créer des workflows IA multimodaux fédérés avec NVIDIA FLARE
NVIDIA propose d'utiliser son framework FLARE pour entraîner des VLMs sur des données distribuées sans centralisation.
AutoDesign : optimisation méta-harness pour la conception agentique à long horizon
Un framework qui apprend à améliorer son propre harnais d'agent, testé sur la génération automatique de posters académiques.
Intern-S2-Preview : un modèle de fondation agentique pour la science
Un nouveau modèle multimodal de 397B paramètres combine raisonnement scientifique, usage d'outils et tâches longues via un pipeline d'entraînement unifié.
MindTopo : un benchmark pour le raisonnement topologique des VLM
MindTopo évalue la capacité des modèles multimodaux à comprendre et manipuler des relations spatiales complexes comme la connectivité.
xAI publie le modèle Grok 4.6
Le nouveau LLM d'Elon Musk revendique des performances accrues et une intégration multimodale étendue.
DeepMind met l'IA de langue des signes entre les mains des utilisateurs
SL2T, nouveau modèle de traduction langue des signes vers texte, alimente des fonctionnalités accessibles aux personnes sourdes et malentendantes.
Un tuteur IA avec ancrage visuel
Knowable propose un tutorat IA intégrant la compréhension visuelle pour contextualiser l'apprentissage.
OPD-V : auto-distillation on-policy visuelle avec équilibrage des modalités
Une nouvelle méthode de post-entraînement corrige le déséquilibre texte-image dans les modèles multimodaux pour améliorer le raisonnement visuel.
Elasticsearch : indexation sémantique multimodale
Découvrez le fonctionnement du champ sémantique pour l'indexation et la recherche multimodales dans Elasticsearch.
UEmb : Embeddings unifiés éparses et denses multimodaux
Un modèle decoder-only unifie les représentations éparses et denses pour le texte et le multimédia, performant sur MMEB-v2.
Une validation centrée sur l'humain du coefficient explicabilité-performance
Une nouvelle métrique agnostique au modèle mesure la qualité des explications XAI en la comparant aux jugements humains, sur texte, image et données tabulaires.
FriendBench : évaluer l'inférence de familiarité entre deux personnes chez l'humain et les LLM multimodaux
Un nouveau benchmark teste si les modèles multimodaux peuvent deviner si deux personnes se connaissent déjà à partir d'un court échange filmé.
VAD : attribution visuelle pour la reconstruction de cibles
VAD isole les preuves visuelles dans la distillation multimodale on-policy pour améliorer la reconstruction des cibles.
Moonshot AI publie la série Kimi K3
Le modèle léger Kimi K1.5 et le multimodal Kimi K3 rejoignent le hub Hugging Face.
VetClaw : système agentique edge-cloud pour dépistage vétérinaire
Une architecture edge-cloud combinant vision et langage pour le dépistage précoce de maladies animales via agents.
CHARM : un modèle de fondation pour graphes multimodaux à modélisation contextuelle hiérarchique pour le transfert zero-shot
Un nouveau modèle vise à généraliser sur des graphes multimodaux inédits sans adaptation ni fine-tuning, en modélisant des contextes hiérarchiques partagés.
Gemini Robotics 2 : intelligence corps entier pour robots
DeepMind dévoile Gemini Robotics 2, un système IA permettant aux robots de comprendre et d'agir avec tout leur corps.
ClinFusion : un MLLM centré vision pour la compréhension médicale globale
Un nouveau modèle multimodal médical unifie imagerie 2D/3D et surpasse GPT-5.2 et Gemini-3-Flash sur la plupart des benchmarks testés.
ERUnderstand : un benchmark pour évaluer les VLM sur les diagrammes entité-relation
Un nouveau benchmark de 2 960 diagrammes ER révèle les limites des modèles vision-langage sur les schémas conceptuels complexes.
VLM-IE3D : des VLM conscients de la 3D grâce à des géométries implicites et explicites
Un nouveau framework injecte des représentations 3D dans les modèles vision-langage à partir de simples vidéos RGB, sans capteur additionnel.
MIRROR : optimiser le raisonnement multi-modal par vues croisées
Une méthode RL exploitant les vues texte et image pour améliorer la cohérence des modèles de vision-language.
Transformer multimodal pour la classification de signaux en nanopore
Une nouvelle architecture deep learning multimodal améliore l'identification précise de biomarqueurs via des capteurs nanopores.
Appearance Pointers : contrôle régional multimodal pour Diffusion Transformers
Une méthode introduisant des tokens compacts pour guider précisément les DiTs selon des zones définies.
FlashRT : un agent qui optimise le déploiement d'applications multimodales temps réel
Un nouveau framework guide des agents de codage pour transformer des implémentations de référence en déploiements multi-GPU optimisés, avec des gains massifs de latence.
ToolSciVer : vérification scientifique multimodale par RL et outils visuels
Un cadre utilisant des outils spécialisés et le reinforcement learning pour améliorer la vérification de réclamations scientifiques.
SceneBind : lier quoi et où entre vision, audio et langage
SceneBind permet une représentation omni-modale sémantique et spatiale pour la compréhension de scènes réalistes.
TikStance : un dataset multimodal et hiérarchique pour l'analyse de positionnement sur TikTok
Un nouveau jeu de données combine vidéos et fils de commentaires TikTok pour étudier les prises de position politiques lors de l'élection américaine de 2024.
Thinking Machines Lab lance Inkling, nouveau modèle open-weights américain de référence (975B-A41B)
Thinking Machines Lab dévoile Inkling, un modèle MoE multimodal open Apache 2.0, accompagné d'une version légère Inkling-Small.
Doorash optimise les métadonnées alimentaires
Doorash utilise des jurys de LLM et de l'IA multimodale pour structurer les données de ses menus.
Fusion multimodale en cascade par LoRA pour la reconnaissance d'actions médicales
Une approche basée sur LoRA fusionne progressivement plusieurs modalités pour la reconnaissance d'actions en formation médicale.
MM-ToolSandBox : évaluation unifiée des agents visuels
Un nouveau benchmark évalue la capacité des agents multimodaux à appeler des outils sur 500+ fonctions.
Kimi-VL-A3B-Thinking : nouveau modèle vision-langage
Moonshot AI présente un modèle VL compact pensant, accessible sur Hugging Face.
Pré-entraînement visuel scalable pour l'intelligence des modèles de langage
Une étude montre que pré-entraîner directement sur des documents visuels surpasse l'approche texte-only classique, sans passer par l'extraction de texte.
UniClawBench : un benchmark universel pour les agents proactifs en environnement réel
Un nouveau benchmark évalue les agents LLM sur des tâches réelles en conteneurs Docker, avec une stratégie en boucle fermée pour simuler des interactions humaines multi-tours.
OpenCoF : raisonner par génération vidéo via le Chain-of-Frame
Un framework open-source qui transforme la génération vidéo en mécanisme de raisonnement séquentiel, alternatif au Chain-of-Thought textuel.
SciReasoner : raisonnement natif structure-propriété multimodal pour la science
Un modèle de fondation multimodal capable de raisonner sur des protéines, molécules et cristaux en préservant l'information structurelle native.
MedPMC : un cadre pour constituer des données médicales multimodales haute fidélité
Des chercheurs proposent MedPMC, un pipeline automatisé extrayant 11 millions de paires image-texte médicales depuis PubMed Central pour entraîner des foundation models.
ELSA3D : ancrage sémantique élastique pour la compréhension et génération 3D unifiées
Un nouveau modèle fondationnel 3D aligne langage et géométrie à différentes échelles d'abstraction, réduisant de moitié les FLOPs par rapport aux approches existantes.
Lychee-FD : modélisation hiérarchique acoustico-sémantique pour les SLM full-duplex
Un nouveau framework résout les conflits de gradients entre modalités acoustique et sémantique qui dégradaient les modèles de parole full-duplex natifs.
LCA : un framework d'orchestration agnostique pour l'aide à la décision en oncologie
Des chercheurs proposent un cadre d'orchestration modulaire pour les modèles d'IA en oncologie, découplant la logique clinique des modèles sous-jacents.
Gemma 4 12B : un modèle multimodal unifié sans encodeur
Google DeepMind lance Gemma 4 12B, un modèle open-weights multimodal qui abandonne l'architecture encodeur séparé au profit d'une approche unifiée.
Gemma 4 12B : un modèle multimodal unifié sans encodeur
Google publie Gemma 4 12B, un modèle open-weights multimodal qui traite texte, image et vidéo sans encodeur visuel séparé.
Les 12 moments marquants du Google I/O 2026
Google récapitule les annonces phares de sa conférence I/O 2026, dont les nouveaux modèles Gemini Omni et Gemini 3.5 Flash.
Thinking Machines lance TML-Interaction-Small, un MoE 276B pour la voix temps réel
Le modèle TML-Interaction-Small de Thinking Machines repousse l'état de l'art de la voix interactive en temps réel avec une architecture MoE encoder-free.
GLM-5V-Turbo : vers un modèle fondateur natif pour les agents multimodaux
Zhipu AI présente GLM-5V-Turbo, un modèle multimodal conçu nativement pour les agents IA, combinant perception visuelle et capacités d'action.