Les pixel embeddings surpassent les vision encoders pour la compréhension et la génération unifiées

Des chercheurs de Facebook Research publient TUNA-2, une approche qui utilise des pixel embeddings à la place des vision encoders traditionnels (type CLIP) pour traiter conjointement compréhension et génération d'images. Les résultats montrent que cette méthode surpasse les architectures encodeurs sur plusieurs benchmarks multimodaux. L'approche simplifie le pipeline en éliminant un composant standard du paradigme actuel.