Granite 4.1 : architecture et méthodes de construction des LLM d'IBM

La famille Granite 4.1 d'IBM se compose de trois modèles denses de type decoder-only — 3B, 8B et 30B paramètres — entraînés à partir de zéro sur environ 15 000 milliards de tokens. Tous trois partagent la même architecture transformer, avec Grouped Query Attention (GQA), Rotary Position Embeddings (RoPE), activations SwiGLU, normalisation RMSNorm et embeddings d'entrée/sortie partagés. L'ensemble est publié sous licence Apache 2.0.

Le pipeline de pré-entraînement se décompose en cinq phases distinctes, chacune associée à une mixture de données et un calendrier de taux d'apprentissage spécifiques. La phase 1 couvre 10 000 milliards de tokens dominés par CommonCrawl (59 %), du code (20 %) et des données mathématiques (7 %). La phase 2 pivote vers le raisonnement en portant la part de mathématiques à 35 % et le code à 30 %. Les phases 3 et 4 constituent une étape de mid-training par annealing : la phase 3 introduit des trajectoires de chain-of-thought et des données d'instruction synthétiques, tandis que la phase 4 concentre l'entraînement sur les données les plus qualitatives disponibles. La phase 5, enfin, étend la fenêtre de contexte de 4K à 512K tokens par paliers successifs (32K, 128K, 512K), en réalisant à chaque étape une fusion de modèles pour préserver les performances sur les séquences courtes.

La phase de supervised fine-tuning (SFT) s'appuie sur environ 4,1 millions d'échantillons sélectionnés via un cadre LLM-as-Judge. Ce système évalue les réponses des assistants sur six dimensions pondérées — instruction following, exactitude, complétude, concision, naturel et calibration — et applique des règles de rejet automatique pour les défauts sévères tels que les hallucinations, les faux présupposés ou les erreurs de calcul. Des filtres déterministes complémentaires assurent la normalisation textuelle, la validation de schéma et la déduplication globale. Le fine-tuning est réalisé sur 16 nœuds équipés chacun de 4 GPU GB200, pendant 3 époques avec un taux d'apprentissage de 5e-6.

Le pipeline de reinforcement learning (RL) post-SFT comprend quatre étapes séquentielles. La première, dite multi-domain RL, entraîne le modèle simultanément sur des domaines variés — mathématiques, sciences, raisonnement logique, instruction following, Text2SQL, chat général — afin de limiter le catastrophic forgetting. La deuxième étape, RLHF, optimise l'utilité conversationnelle avec un reward model scalaire multilingue et améliore les scores sur AlpacaEval de 18,9 points en moyenne. Une troisième étape courte (~40 steps) cible la calibration identitaire du modèle. Enfin, une étape Math RL compense la dégradation des performances mathématiques induite par la phase RLHF, permettant de regagner en moyenne 3,8 points sur GSM8K et 23,48 points sur DeepMind-Math. L'algorithme retenu est GRPO on-policy combiné à la loss DAPO (Yu et al., 2025), via le framework SkyRL.

Le résultat le plus notable sur le plan des performances concerne le modèle Granite 4.1-8B instruct : il égale ou dépasse le Granite 4.0-H-Small, un modèle Mixture-of-Experts (MoE) de 32B paramètres avec 9B actifs, sur des benchmarks couvrant l'instruction following (IFEval), le raisonnement mathématique (GSM8K, DeepMind-Math), le code (EvalPlus, MBPP+) et les appels d'outils (BFCL V3). Cette comparaison soulève une question de fond sur les compromis entre architectures denses et MoE à iso-performance : un modèle dense mieux entraîné peut rivaliser avec une architecture plus complexe disposant de davantage de paramètres totaux.

IBM positionne explicitement Granite 4.1 pour des usages enterprise, en insistant sur l'absence de longues chaînes de raisonnement (long chains of thought) afin de garantir une latence prévisible et des coûts d'inférence maîtrisés. Des variantes quantifiées en FP8 sont également disponibles, réduisant de moitié l'empreinte mémoire GPU. Le support multilingue couvre douze langues dont l'anglais, l'allemand, l'arabe, le japonais ou le coréen, et les benchmarks de sécurité (SALAD-Bench, AttaQ) sont inclus dans les évaluations publiées.