RECHERCHE
OrbitQuant : quantification sans données pour les diffusion transformers image et vidéo
OrbitQuant propose une quantification post-entraînement agnostique aux données pour les DiTs, atteignant l'état de l'art jusqu'en W2A4 sur FLUX.1, Wan 2.1 et CogVideoX.
arXiv cs.AI · cs.LG · cs.CL·Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang·2 juillet 2026
Image · Source originale
Les diffusion transformers (DiTs) souffrent d'un coût d'inférence élevé, et les méthodes de quantification post-entraînement (PTQ) existantes nécessitent une recalibration à chaque nouveau checkpoint. OrbitQuant contourne ce problème en quantifiant dans une base normalisée et pivotée via une rotation RPBH (randomized permuted block-Hadamard), rendant la distribution des activations indépendante des entrées. Un seul codebook Lloyd-Max couvre tous les timesteps, prompts et couches, sans réglage par modalité, et les résultats sont à l'état de l'art sur plusieurs modèles image et vidéo.
Chaleur 7
Pertinence 72
Nouveauté 78