Apprentissage de représentations génératif pour une tokenisation latente scalable

Les auteurs introduisent une méthode d'apprentissage de représentations auto-supervisé destinée à servir de tokenizer pour la modélisation générative. Elle factorise l'information mutuelle ponctuelle des données à partir de prédictions conditionnelles d'un modèle génératif, et évite l'effondrement dimensionnel là où DINO et LeJEPA échouent. Elle obtient un FID-50K de 2,18 avec JiT-L et atteint, par extrapolation, des représentations avec 7 fois moins de FLOPs que DINOv2 sur ImageNet et 8 fois moins que WebSSL sur GPIC.