Embeddings
Fellow suit ce sujet depuis juillet 2026 : 23 articles résumés en français, dont 5 jugés majeurs ou notables.
Toute l'actualité · 23 articles
Embeddings n-gram à faible précision pour les modèles de langage
Stocker les tables d'embeddings n-gram en 4 bits réduit d'environ 75 % la mémoire des tables tout en conservant plus de 99 % du gain en validation loss, selon une étude sur plusieurs familles de modèles.
OlmoEarth v1.3 : des embeddings à l'état de l'art pour l'ensemble de la planète
Ai2 publie OlmoEarth v1.3, avec des embeddings satellites de pointe, des données globales précalculées et un Embeddings Explorer dans le navigateur pour cartographier et analyser la planète.
Au-delà de la langue : améliorer les embeddings multilingues sans entraînement par suppression de sous-espaces de résidus appariés
Des chercheurs proposent PRSR, une intervention à l'inférence qui rend les embeddings extraits de LLM figés plus indépendants de la langue, sans aucun entraînement supplémentaire.
Construire un pipeline RAG pour la recherche sémantique de code
JetBrains détaille, sous forme de journal de bord, les choix techniques et pièges rencontrés en bâtissant un pipeline RAG dédié au code.
La prédiction d'embeddings améliore la génération d'images
Une méthode qui prédit les embeddings futurs pour conditionner dynamiquement un DiT, avec de meilleurs résultats et moins de calcul
Les modèles d'embedding mesurent de façon singulière
Une étude révèle que les embeddings modélisent mal les mesures physiques objectives, privilégiant la similarité textuelle.
BabyLM Augustinien : limites de l'apprentissage par ostension
L'initialisation visuelle des embeddings influence durablement un petit modèle mais n'améliore pas ses performances grammaticales.
Exploiter la géométrie universelle des embeddings
Une étude arXiv explore une structure géométrique commune aux espaces d'embeddings, ouvrant la voie à leur traduction sans supervision directe.
Récupéré mais mal classé : le biais de forme de surface dans la recherche structurelle, des maths aux trajectoires d'agents
Une étude montre que les embedders s'accrochent aux mots plutôt qu'à la structure, avec un Hit@1 à 0% en maths sur les cas les plus déguisés.
Scaling Graph Neural Networks for Friend Recommendation
Un système GNN évolutif pour recommander des amis à l'échelle industrielle via échantillonnage temporel.
Entraîner et affiner des modèles d'embeddings multi-vecteurs avec Sentence Transformers
Hugging Face détaille comment entraîner et fine-tuner des modèles d'embeddings multi-vecteurs via la bibliothèque Sentence Transformers.
FedV-KGQA : raisonnement multi-hop sur graphes partitionnés
Un cadre fédéré pour le questionnement multi-hop sur des graphes de connaissances distribués verticalement.
Tiny-Net : embeddings de tokens appris en 2D
Une architecture neuronale remplace les embeddings standards par des coordonnées 2D.
Analyse de la dérive thématique au niveau des commentaires Reddit
Une méthode d'embedding détecte la dérive sémantique dans 12,7 Md de commentaires Reddit, montrant une forte instabilité des sujets politiques.
SLMs et géométrie d'embeddings pour la catégorisation de factures
L'étude explore l'usage de petits modèles de langage internes pour classifier les factures financières avec précision.
Modèles d'embeddings Multi-Vector avec Sentence Transformers
Hugging Face intègre le Late Interaction dans Sentence Transformers pour améliorer la recherche sémantique.
OlmoEarth lance des embeddings personnalisables
Hugging Face accueille les exports d'embeddings sur mesure via OlmoEarth Studio pour l'analyse.
UEmb : Embeddings unifiés éparses et denses multimodaux
Un modèle decoder-only unifie les représentations éparses et denses pour le texte et le multimédia, performant sur MMEB-v2.
Simplifier les embeddings : l'approche brute force
Contre l'intuition, la recherche brute force sur des embeddings simples surpasse souvent les méthodes complexes et coûteuses.
Modèles audio et phylogénie : prédominance des fondations sur le spécifique
Les modèles audio foundation encodent le signal phylogénétique mieux que les approches bioacoustiques ciblées.
Des sketches de rang faible mutables pour des recommandations sans réentraînement
Une nouvelle méthode met à jour les embeddings utilisateur en temps réel via une structure arborescente, sans cycle de réentraînement complet.
NVIDIA Nemotron 3 Embed : 1er sur RTEB
Le modèle embedding de NVIDIA domine le benchmark RTEB, boostant les capacités de retrieval pour les agents IA.
Classification sectorielle des dépôts GitHub via le système NAICS
Des chercheurs publient NAICS-GH, un corpus de 6 588 dépôts GitHub étiquetés par secteur industriel avec 97 % de précision.