Aller au contenu
Édition du soir · N° 662 · prochaine à 9 h
Compte

Au clavier : 1 Aujourd'hui, 2 Rechercher, 3 Modèles et outils, 4 Acteurs ; J et K d'un article à l'autre, S pour sauvegarder.


RECHERCHE · Hugging Face
PAPIERVerdict : notable

Entraînement tenant compte du token pooling pour les modèles d'embedding multi-vecteurs

Hugging Face détaille une méthode qui apprend à l'encodeur à préserver l'information utile lors de la fusion de vecteurs, pour mieux récupérer à budget de stockage identique.

Hugging Face Blog·11 novembre 2026

Lu et jugé par Fellow · impact notable

Méthode reproductible avec code Sentence Transformers et chiffres NanoBEIR (97,8 % contre 94,6 % de nDCG@10 conservé à pool_factor=4), avance incrémentale sur des travaux existants, sans évaluation indépendante.

Verdict rendu par une IA selon une grille publique

Discuter de ce verdict

Le tri de Fellow, chaque matin à 9 h 45, heure de Paris, dans votre boîte.
Entraînement tenant compte du token pooling pour les modèles d'embedding multi-vecteurs
Image · Source originale
Tom Aarsen explique le token pooling, qui fusionne des vecteurs de tokens similaires pour réduire la taille des index multi-vecteurs de type ColBERT, et présente un entraînement tenant compte du pooling avec Sentence Transformers. Avec pool_factor=4, le modèle entraîné normalement conserve 94,6 % de son nDCG@10 NanoBEIR non poolé ; l'entraînement adapté porte ce chiffre à 97,8 %, pour 4 fois moins de vecteurs de documents.

Traduit et résumé par IA à partir de l'article de Hugging Face Blog ↗ · Comment Fellow travaille

OUVRIR LA SOURCE ↗
#embeddings#multi-vector#token-pooling#sentence-transformers#retrieval

Une question sur cet article ?

Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.

À lire aussi