RECHERCHE
Récupéré mais mal classé : le biais de forme de surface dans la recherche structurelle, des maths aux trajectoires d'agents
Une étude montre que les embedders s'accrochent aux mots plutôt qu'à la structure, avec un Hit@1 à 0% en maths sur les cas les plus déguisés.
arXiv cs.AI · cs.LG · cs.CL·Nabira Rashid, Manolis Kellis·1 septembre 2026
Lu et jugé par Fellow · impact notable
Papier avec protocole et métriques chiffrées (Hit@1 à 0%, intervalles de confiance) démontrant une limitation critique des embedders actuels sur la structure sémantique.
Image · Source originale
Les chercheurs testent la recherche par embeddings quand la forme et le sens divergent, en mathématiques compétitives et sur des trajectoires d'agents. En maths, l'échec est total : Hit@1 strict à 0% au niveau de déguisement maximal, la réponse correcte étant presque toujours dans le top 10 mais devancée par des items lexicalement plus proches. Sur les trajectoires, les modèles tombent au niveau du hasard ou en dessous dès que l'objet ou le récipient cible diffère. Un reranker LLM récupère une partie significative de l'écart, mais les gains varient fortement selon le domaine.
Chaleur 1
Pertinence 55
Nouveauté 65