RECHERCHE
PAPIERVerdict : notableRécupéré mais mal classé : le biais de forme de surface dans la recherche structurelle, des maths aux trajectoires d'agents
Une étude montre que les embedders s'accrochent aux mots plutôt qu'à la structure, avec un Hit@1 à 0% en maths sur les cas les plus déguisés.
arXiv·Nabira Rashid, Manolis Kellis·1 septembre 2026
Lu et jugé par Fellow · impact notable
Papier avec protocole et métriques chiffrées (Hit@1 à 0%, intervalles de confiance) démontrant une limitation critique des embedders actuels sur la structure sémantique.

Image · Source originale
Les chercheurs testent la recherche par embeddings quand la forme et le sens divergent, en mathématiques compétitives et sur des trajectoires d'agents. En maths, l'échec est total : Hit@1 strict à 0% au niveau de déguisement maximal, la réponse correcte étant presque toujours dans le top 10 mais devancée par des items lexicalement plus proches. Sur les trajectoires, les modèles tombent au niveau du hasard ou en dessous dès que l'objet ou le récipient cible diffère. Un reranker LLM récupère une partie significative de l'écart, mais les gains varient fortement selon le domaine.
Traduit et résumé par IA à partir de l'article d'arXiv ↗ · Comment Fellow travaille
Une question sur cet article ?
Fellow répond à partir de ce qu'il a publié et cite chaque source. Réponses rédigées par une IA.
À lire aussi
- Tous les modèles d'IA livrent la même opinion « controversée » sur les humains22 octobre 2026
- FairStress : une évaluation approfondie de l'équité dans la prise de décision des LLMAi2 · 20 octobre 2026
- Même simulation, preuves différentes : le coût en précision de la récupération des sorties d'outils chez les agents LLM19 octobre 2026
- Les LLM récupèrent-ils les données moléculaires par cœur ?4 septembre 2026
- RATIO : benchmark pour la récupération d'idéations scientifiques27 août 2026
- BenchMIRT : que mesurent réellement les benchmarks LLM ?Hugging Face · 1 septembre 2026