Dépasser une seule route de build TensorRT avec le Global Performance Tuner de NVIDIA, partie 1

Selon NVIDIA, déployer un réseau de neurones entraîné ne se résume pas à traduire chaque opérateur en kernel GPU : c'est un problème de compilation à multiples solutions légitimes. Lors de la construction d'un engine, TensorRT prend des décisions interdépendantes sur les transformations de graph-IR, la fusion, la sélection d'implémentations, le placement mémoire et la quantization. Cet ensemble de choix est appelé scheduling.