Modèles de diffusion
Fellow suit ce sujet depuis juin 2026 : 65 articles résumés en français, dont 13 jugés majeurs ou notables.
Toute l'actualité · 65 articles
SpectralCanary : des traces basse fréquence très simples pour auditer l'usage de datasets par les modèles T2I
Une méthode insère un canary image via un masque passe-bas dans chaque image d'un dataset, puis détecte ce signal dans les sorties d'un modèle text-to-image suspect fine-tuné dessus.
Orbitol : génération de cristaux sur des orbites de Wyckoff
Orbitol, basé sur un diffusion Transformer, génère des cristaux à partir d'orbites de Wyckoff et d'un groupe d'espace imposé, bien plus vite que les modèles concurrents sensibles à la symétrie.
Guide pratique de la génération d'images par IA, de la diffusion aux agents
Un guide détaillé couvre le fonctionnement des modèles, leurs types, les coûts, le prompting et l'intégration de la génération d'images dans du code et des agents, à partir d'expériences en Python.
UniWALM : un modèle unifié monde-action-langage pour le contrôle de robots incarnés
UniWALM apprend vidéo, action et langage dans une représentation partagée unique, et utilise le langage généré comme mémoire pour améliorer la manipulation robotique, sans planificateur externe.
Mercury 3 : la diffusion appliquée aux LLM à grande échelle
Inception lance Mercury 3, LLM à diffusion annoncé à plus de 1 000 tokens par seconde, avec un contexte d'1M de tokens et une qualité jugée comparable aux modèles rapides de référence.
Repenser l'espace de conception des Diffusion Transformers pixel « vanilla »
MFlow, une paramétrisation adaptative entre x0- et u-prediction, et ConvRefiner, un module convolutif post-hoc, visent à améliorer les diffusion transformers générant directement en espace pixel.
Concevoir des Transformers pour les modèles de langage à diffusion continue
LangDiT, un Transformer pensé pour les modèles de langage à diffusion continue, réduit la perplexité de génération et établit un nouvel état de l'art sur OpenWebText.
Modéliser et comprendre les poids des politiques de robots humanoïdes par diffusion
Des chercheurs génèrent directement dans l'espace des poids des réseaux de contrôle déployables pour le robot Unitree G1, grâce à un modèle de diffusion latente.
Apprentissage de représentations génératif pour une tokenisation latente scalable
Des chercheurs proposent un objectif auto-supervisé fondé sur l'information mutuelle ponctuelle, conçu pour servir de tokenizer en génération et éviter l'effondrement dimensionnel.
L'espace de conception des modèles de diffusion masquée tri-modaux
Apple présente les premiers Masked Diffusion Models tri-modaux préentraînés from scratch sur texte, image-texte et audio-texte, avec une analyse systématique des choix de conception.
Entraînement sans données de modèles de diffusion pour les théories de champs sur réseau
Des chercheurs montrent que des modèles de diffusion peuvent s'entraîner sur leurs propres échantillons grâce à l'identité du score cible, avec des performances proches d'un entraînement sur données HMC.
Garanties à échantillon fini pour les modèles de diffusion conditionnels entièrement discrets
Une analyse théorique unifie erreur statistique et discrétisation numérique des modèles de diffusion conditionnels, avec des bornes de convergence en KL et en variation totale.
Entraîner des modèles text-to-image sans VAE
Linum AI présente une approche, baptisée Pyramid-JIT, qui permet d'entraîner des modèles de génération d'images à partir de texte sans auto-encodeur variationnel (VAE).
WorldSonus : donner du son aux mondes génératifs
Un nouveau framework génère de l'audio spatial en temps réel pour accompagner les vidéos produites par les world models.
Représentations hiérarchiques débruitées : diffusion continue conjointe pour la modélisation du langage
Un nouveau cadre, H-CDLM, améliore les modèles de diffusion continue pour le texte en diffusant plusieurs niveaux de granularité en parallèle.
Des modèles de diffusion hiérarchiques et continus pour le langage
Un nouveau cadre couple génération discrète de tokens et trajectoire latente continue pour améliorer les modèles de diffusion textuelle.
DMAD : la distillation adversariale accélère la génération visuelle en quelques étapes
Une nouvelle méthode remplace l'estimation de score par une classification adversariale, supprimant le modèle auxiliaire coûteux de la distillation par correspondance de distribution.
Looped Diffusion Transformer : boucler les blocs pour gagner en profondeur de calcul
Une nouvelle architecture fait tourner les mêmes blocs Transformer plusieurs fois par étape de diffusion, surpassant des modèles 6,5x plus gros à compute réduit.
Modèles génératifs : le lien entre spéciation sémantique et rupture du débruitage local
Une étude théorique montre que la fenêtre de non-localité, où le contexte local devient insuffisant, s'inscrit dans la fenêtre de spéciation sémantique.
SplitMoE : dépasser le piège de l'uniformité pour les modèles de diffusion vidéo
Une nouvelle architecture MoE à rôles séparés améliore la cohérence du routing et la qualité de génération vidéo, sans surcoût de paramètres actifs.
MGFlow : un cadre unifié pour l'entraînement distributionnel en génération visuelle en une étape
Un nouveau cadre théorique relie modélisation de distribution et flux de gradient de Wasserstein pour améliorer la génération d'images en une seule étape.
Stationnarité de premier ordre des diffusions inverses
Une théorie de premier ordre relie optimisation et échantillonnage pour les modèles de diffusion basés SDE et ODE.
Diffusibilité des latents en haute dimension : impact sur la génération par flow matching
Le fine-tuning des encodeurs visuels pour la reconstruction réduit la dimensionnalité effective des latents, rendant le flow matching sous-optimal. La prédiction x₀ résout ce problème.
Paint-Anything : contrôle hex unifié pour la génération d'images
Une méthode apprenant une interface commune pour contrôler précisément la couleur des objets via des codes hex.
Entraîner des modèles Text-to-Image 3,6× plus vite
Une méthode compile les pipelines dynamiquement pour réduire drastiquement les temps d'entraînement.
Transport discret de Beckmann pour le langage en une étape
Une nouvelle approche par transport discret pour la génération de langage en une étape sans distillation.
CanvasAnneal : apprentissage par renforcement à curriculum pour modèles de langage à diffusion
Une méthode injecte des traces de raisonnement d'un modèle enseignant pour débloquer l'exploration en RL sur les modèles de diffusion.
Dynin-Robotics : un modèle Vision-Language-Action par diffusion unifiée omnimodale
Un backbone de diffusion masquée traite langage, vision, buts et actions comme des tokens discrets pour la robotique conditionnée par instructions.
Ref-GeNVS : synthèse de vue générative consciente des reflets
Une méthode sans entraînement pour générer de nouvelles vues dans les scènes avec miroirs en exploitant le contenu réfléchi.
EditVid : framework unifié et training-free pour l'édition vidéo
Une méthode sans entraînement unifiant édition guidée par instruction et par sujet, surpassant les baselines sans training sur FiVE.
Le paradoxe de la diffusion distillation
Une analyse explore les contraintes théoriques qui lient la qualité d'échantillonnage aux coûts de calcul lors de la distillation de modèles de diffusion.
Comment construire un modèle de langage par diffusion
Un guide technique détaillé expliquant l'architecture et l'entraînement des modèles de langage basés sur la diffusion.
Modèles de langage à diffusion continue (CDLM)
Un article technique explore une variante continue des diffusion language models, alternative potentielle aux LLM autoregressifs classiques.
Les modèles génératifs vidéo comme apprenants de géométrie
GeoNeXt réutilise des modèles vidéo pré-entraînés pour estimer profondeur et normales de surface, avec bien moins de données que les approches concurrentes.
Ce que le FID cache : détecter, classer et diagnostiquer les écarts en évaluation générative
Une étude montre les limites du FID et propose ZID, un nouveau cadre de diagnostic plus fin pour évaluer les modèles génératifs.
MDTE : diffusion sensible aux classes minoritaires pour la classification de nœuds sur graphes temporels déséquilibrés
Un nouveau framework de diffusion conditionnelle améliore la détection des classes minoritaires sur graphes temporels, avec des gains significatifs sur cinq jeux de données réels.
ConvergeFlow : un modèle de langage à flux avec convergence prouvée vers les embeddings de tokens
Une nouvelle approche par flow matching supprime le besoin d'un décodeur supervisé par cross entropy pour générer du texte.
Imputation de séries temporelles par diffusion masquée
Une méthode de diffusion masquée avec discrétisation stochastique améliore la robustesse de l'imputation.
Infrastructure de données centrée sur les capacités pour l'image
Un pipeline évolue les capacités de génération via un curriculum multi-étapes appliqué à des modèles de diffusion 3B et 6B.
Optimiser l'échantillonnage : calibrage des schémas de diffusion par optimisation bayésienne
Une méthode qui optimise directement les pas d'échantillonnage des modèles de diffusion, sans entraînement supplémentaire, pour accélérer la génération jusqu'à 10x.
Marionette : prédire l'état du monde, rendre la géométrie, peindre l'apparence
Un nouveau modèle de monde sépare explicitement état 3D, rendu géométrique et synthèse visuelle pour des jeux avec personnages articulés.
DARTree : speculative decoding par diffusion et arbres
Cette méthode sans entraînement accélère les LLM via des arbres de candidats parallèles, dépassant les vitesses des approches classiques.
DreamFly : mémoire causale et planification par diffusion pour la navigation aérienne
Un framework de diffusion pour la navigation aérienne VLN améliorant la mémoire et l'arrêt explicite.
Évaluation de modèles de diffusion pour images histopathologiques
Des métriques spécifiques évaluent mieux les images synthétiques en pathologie que le FID standard.
Séparation prouvée entre circuits quantiques et LLM classiques
Des chercheurs démontrent des limites théoriques infranchissables pour les transformers et diffusion models face à des circuits quantiques peu profonds.
AURORA-LM : modélisation du langage par diffusion en espace latent continu et décodable
Un nouveau modèle combine encodeur-décodeur et diffusion par blocs pour générer du texte sans passer par les tokens discrets classiques.
Le hasard des diffusion models est une entrée apprenable
Le choix des générateurs de nombres pseudo-aléatoires impacte significativement la qualité de génération des modèles.
Quand les propositions par diffusion apprise aident-elles la résolution de contraintes ? Étude contrôlée sur des systèmes algébriques continus
Une étude compare une architecture de diffusion neuronale (MARC) à un simple redémarrage aléatoire pour résoudre des systèmes de contraintes algébriques.
πR² : des politiques de flux réactives et temps réel pour la manipulation robotique
Une méthode pour rendre les politiques de manipulation à grands modèles réactives en temps réel, sans sacrifier l'expressivité ni le multi-action.
Parallel Decoding Distillation : une méthode simplifiée pour accélérer la génération d'images et de vidéos
Une nouvelle technique de distillation par trajectoire réduit le nombre d'étapes de débruitage sans sacrifier la diversité des générations vidéo.