6 heures de vidéos YouTube et 85 pages de notes manuscrites sur l'inférence des LLM : point de départ

Le dépôt samir-vllm propose une série de vidéos (plus de 6 heures) et plus de 80 pages de notes manuscrites sur l'inférence des LLM. Le moteur en C++17/CUDA charge les poids safetensors de Llama 3.2 1B Instruct, implémente tokenizer BPE, RMSNorm, RoPE, attention, KV cache paginé et batching continu, avec génération gloutonne.