Appearance Pointers : contrôle régional multimodal pour Diffusion Transformers

Ce papier présente les appearance pointers, des tokens compacts permettant un contrôle régional précis dans les Diffusion Transformers (DiT). En alignant des entrées textuelles ou visuelles avec des masques utilisateurs, ce mécanisme outrepasse les limites du text prompting pour diriger l'apparence et la localisation des éléments générés. L'approche surpasse les méthodes spécifiques existantes sans nécessiter de réentraînement du modèle de base.