Représentations hiérarchiques et quantification : un compromis de performance pour les text embeddings

L'étude évalue 38 tâches du benchmark MTEB avec quatre modèles d'embedding, en combinant représentations hiérarchiques 1D et 2D avec une quantification 32 bits, 8 bits et binaire (168 configurations par tâche). L'int8 coûte au plus 1,5 point par rapport au float32, alors que le binaire est significativement moins bon. Une réduction de dimension de 8x associée à l'int8 réduit le stockage par vecteur de 32x pour 94,4 % de l'efficacité de référence. Le retrieval se dégrade bien plus vite que les autres catégories.