ConvergeFlow : un modèle de langage à flux avec convergence prouvée vers les embeddings de tokens

ConvergeFlow est un modèle de langage basé sur des flux continus dans l'espace des embeddings, entraîné uniquement avec un objectif de flow matching. Les auteurs prouvent que le flux converge vers des embeddings de tokens valides malgré les erreurs du prédicteur, permettant une prédiction directe sans décodeur CE. Testé sur OpenWebText, il atteint des performances comparables aux modèles de diffusion continus et discrets existants.