Deux optimisations pour atteindre 1000 tokens/s sur un modèle de 1000 milliards de paramètres

L'équipe de Tilert.ai décrit deux sauts d'optimisation qui ont permis d'atteindre 1000 tokens par seconde sur un modèle à 1 000 milliards de paramètres. L'article détaille les choix d'architecture d'inférence et les ajustements système qui ont rendu ce débit possible à grande échelle. Ce résultat illustre les marges d'amélioration encore disponibles dans les pipelines d'inférence pour les très grands modèles.