IA multimodale

Poids ouverts sous licence MIT, utilisables via transformers, vLLM et SGLang, avec benchmarks chiffrés publiés face à des modèles concurrents et contexte de 1M tokens.

Poids 8B et 70B réellement publiés sous Apache 2.0, avec multimodalité, mode thinking, contexte 262k, données, recettes et évaluations reproductibles documentées.

Meta publie les poids d'un modèle MoE multimodal de 816B paramètres (42B actifs, contexte 1M), disponible sur Hugging Face avec support transformers, vLLM, SGLang et llama.cpp.

Deux modèles open-weights réellement disponibles sur Hugging Face (d1-3B, d1-omni-600M) avec benchmarks documentés, code d'inférence publié, et performances mesurées sur hardware edge (16-50ms sur Jetson). Nouvelle catégorie de modèles (décision en single forward pass, non-génératifs) avec cas…

Déploiement mondial effectif d'un nouveau modèle (GPT-6) à 1,2 milliard d'utilisateurs hebdomadaires avec nouvelle capacité d'interface générative (Intelligent UI), disponibilité immédiate sur tous les tiers, et chiffres de performance internes documentés (44% plus rapide sur recherche web).

Modèle de production disponible via API avec capacités vidéo concrètes (extension jusqu'à 40s, 4K, interpolation clé-image).

Des chercheurs proposent CRANE, premier cadre post-hoc et agnostique au modèle qui génère des explications contrefactuelles multimodales en récupérant de vrais exemples d'entraînement de la classe cible.

NarraSpace relie mots et temps de parole aux éléments d'une image décrite, pour rendre la classification de la démence plus traçable. Le système atteint 81,25 % d'accuracy sur le jeu de test ADReSS.

Des chercheurs présentent Halcyon, une famille de modèles autorégressifs multimodaux entraînés from scratch sur 100M de paires image-texte, qui surpassent des baselines avec bien moins de calcul.

Un harnais de raisonnement multimodal associe couche de capacités et mémoire persistante : +9,7 à +12,6 points de moyenne sur 22 benchmarks face à des références sans outils.

Des chercheurs proposent VAG, un mécanisme de filtrage qui ne retient que les corrections token par token appuyées par la preuve visuelle, afin d'éviter la contamination dans le RL multimodal.

Un nouveau benchmark de 300 tâches de développement de pages web à partir de captures d'écran de référence montre que les modèles actuels peinent : le meilleur système n'atteint que 52,12/100.

DeepSeek met en ligne DeepSeek-V4.1-Flash-1017 sur Hugging Face : un modèle image-texte vers texte, publié sous licence MIT, au format FP8 et utilisable avec transformers.

NVIDIA présente Nemotron 3.5 Super VL, un modèle multimodal ouvert et personnalisable, à architecture MoE de 120B paramètres, conçu pour les agents d'entreprise en fonctionnement continu.

Des chercheurs proposent un vérificateur visuel qui décompose les prompts complexes en sous-composants et attribue des scores continus, plutôt qu'un simple jugement binaire vrai/faux.

Un modèle combinant courbes et delay embeddings normalisés, construit sur Qwen3-VL-8B, fait passer la précision sur TSRBench de 44,5 % à 53,2 % par rapport aux courbes seules.

Le projet suisse Apertus étend ses modèles 8B et 70B avec la compréhension d'images et d'audio, un mode de réflexion optionnel et un contexte quatre fois plus long, sous licence Apache 2.0.

Meta publie Muse Spark Open, un modèle mixture-of-experts d'environ 816 milliards de paramètres, multimodal, doté d'un contexte d'un million de tokens et conçu pour le codage agentique.

Apple propose SSR, un cadre qui remplace le raisonnement libre des agents multimodaux par une sélection parmi des candidats prédéfinis, pour réduire le coût d'inférence des petits modèles.

TypeSafe AI sort Jev 1.14.0 et ouvre via des flags d'API des fonctionnalités expérimentales : images composables, nouveau type box et contexte plus long.

Apple présente les premiers Masked Diffusion Models tri-modaux préentraînés from scratch sur texte, image-texte et audio-texte, avec une analyse systématique des choix de conception.

OmniCompass évalue 50 MLLMs sur le grounding temporel et spatial et le question answering, avec deux pistes : vision-langage et audio-visuelle, sur 820 vidéos annotées manuellement.

Cloudflare présente Clef-Omni, une version pleinement multimodale de sa famille de modèles, accompagnée d'un Clef plus rapide et d'une variante Clef-flash à moindre coût.

Un nouveau jeu de données et benchmark de raisonnement sur les transitions visuelles révèle un déficit systématique des MLLM et améliore 22 benchmarks externes sur 26 après entraînement.

La startup Liquid AI, issue du MIT, dévoile une famille de modèles de décision multimodaux conçus pour tourner localement sur des appareils edge, avec des poids ouverts sur Hugging Face.

Le nouveau modèle GPT-6 arrive dans ChatGPT avec une « Intelligent UI » promettant des réponses plus rapides, visuelles et interactives.

Un nouveau papier de recherche propose une méthode d'entraînement par auto-distillation pour faire progresser les modèles vision-langage sans supervision externe.

Google DeepMind dévoile la nouvelle génération de son modèle d'embedding, désormais capable de traiter texte et image en open-weights.

Une méthode permet d'interroger en langage naturel les représentations internes des MM-DiT pour mieux comprendre ce qu'ils encodent pendant la génération d'image.

Un nouveau framework par apprentissage par renforcement ajuste dynamiquement coût, latence et performance de la mémoire des agents LLM.

Un modèle en deux étapes infère l'expression génique à partir de biopsies histopathologiques pour prédire la réponse complète au traitement.

Un modèle multimodal apprend à construire une représentation 3D compacte de la scène pour raisonner comme un humain avant de formuler sa réponse.

Une méthode de RL entraîne conjointement diagnostic textuel et révision d'image pour que les modèles unifiés corrigent leurs propres générations.

Un nouveau dataset multimodal vise à combler le manque de ressources non anglophones pour détecter le hate speech en contexte mexicain.

Une nouvelle architecture repositionne l'étape d'Encode comme point de contrôle du pipeline Encode-Prefill-Decode pour les MLLM.

Runway détaille WorldPrompt, un format d'entrée pour piloter des simulations vidéo/audio générées en temps réel par son modèle GWM Worlds 2.

Un nouveau framework combine LLM et alignement spectral pour inférer le sentiment humain malgré des modalités manquantes ou bruitées.

DeepMind dévoile Gemini 3.8 Live, intégrant une fonctionnalité Live Avatar pour des interactions multimodales en temps réel.

Un nouveau modèle combine vision et toucher pour prédire les dynamiques de contact, surpassant nettement les approches purement visuelles.

Alibaba dévoile Qwen 3.8 Omni Flash, un modèle multimodal rapide optimisé pour la voix et la vidéo.

PANORAMA améliore l'ancrage pixel des légendes VLM via la sélection de masques conditionnels et un benchmark dédié.

Une méthode d'alignement multi-échelle par transport optimal améliore la cohérence structurelle de la musique générée depuis des vidéos de danse.

Un cadre multimodal UID-preserving pour reconstruire les chronologies cliniques à partir de données structurées et de récits.

Une étude empirique sur huit jeux de données CGM montre que le fine-tuning léger surpasse les modèles zero-shot pour la prévision glycémique.

NVIDIA détaille une technique d'optimisation d'inférence qui sépare l'encodage visuel du prefill et du decode, avec des gains jusqu'à 5x.

Une étude systématique montre que les pertes spécifiques par tâche sont plus fiables que la reconstruction pour évaluer les tokenizers d'images.

Un nouveau Transformer multimodal et time-aware capable de modéliser et de prédire l'évolution clinique globale des patients.

Hugging Face dévoile NeoMME, un encodeur efficace et nativement multimodal pour le multilingue.

Un test de vision par LLM pour identifier des champignons révèle les limites et les risques de ces modèles sur des tâches à enjeu réel.

DeepMind introduit des capacités de compréhension vidéo agentic dans Gemini pour une analyse poussée.

Un nouveau cadre d'apprentissage permet de transférer les modèles de résistance au gel des cépages vers des régions peu documentées.

Un nouveau modèle multimodal expérimental optimisé pour la vision rapide et le traitement dense.

DeepMind met à jour son modèle multimodal Flash avec de nouvelles options de personnalisation pour les développeurs.

Un benchmark proposant 300 tâches procédurales et des récompenses vérifiables pour entraîner le raisonnement visuel par génération.

Un nouveau framework VDA permet aux MLLMs d'apprendre continuellement sans supervision via l'analyse de la dépendance visuelle.

Un nouveau benchmark et un moteur de raisonnement allient vidéo, pose et sEMG pour un coaching sportif expert.