Fine-tuning d'un modèle de 235 milliards de paramètres sur 4 GPU, puis constat qu'il n'était plus nécessaire

L'équipe de Vertexcover cherchait à remplacer des modèles OpenAI et Gemini fine-tunés pour classifier des entités dans des documents clients. Une epoch sur environ 3 600 exemples, en 26 heures sur quatre H100, a amélioré le F1 de chaque client mesuré (75,47 à 83,10 en moyenne). Quatre des cinq configurations d'entraînement QLoRA ont échoué avant le premier pas, en raison de l'ordre de compression et de répartition du modèle MoE. Le modèle n'a jamais été mis en production.