RECHERCHE
ConvergeFlow : un modèle de langage à flux avec convergence prouvée vers les embeddings de tokens
Une nouvelle approche par flow matching supprime le besoin d'un décodeur supervisé par cross entropy pour générer du texte.
arXiv cs.AI · cs.LG · cs.CL·Na Li, Yuchen Jiao, Changxiao Cai, Gen Li·24 août 2026
Lu et jugé par Fellow · impact léger
Article de recherche académique avec code disponible mais performances comparables aux modèles existants.
Image · Source originale
ConvergeFlow est un modèle de langage basé sur des flux continus dans l'espace des embeddings, entraîné uniquement avec un objectif de flow matching. Les auteurs prouvent que le flux converge vers des embeddings de tokens valides malgré les erreurs du prédicteur, permettant une prédiction directe sans décodeur CE. Testé sur OpenWebText, il atteint des performances comparables aux modèles de diffusion continus et discrets existants.
Chaleur 0
Pertinence 45
Nouveauté 70