OUTILS
Embeddings 14× plus rapides : la refonte du chemin ONNX dans Manticore Search
Manticore Search détaille comment une réécriture du pipeline ONNX a multiplié par 14 la vitesse de génération d'embeddings.
Hacker News (filtré IA)·@snikolaev·3 juillet 2026

Image · Source originale
L'équipe Manticore Search a revu en profondeur son intégration ONNX Runtime pour la génération d'embeddings, atteignant un gain de performance de 14× par rapport à l'implémentation précédente. L'article décrit les goulots d'étranglement identifiés, les choix d'optimisation (batching, parallélisme, gestion mémoire) et les benchmarks obtenus. Cette amélioration cible directement les cas d'usage de recherche sémantique et de RAG embarqué dans le moteur.