Unsloth lance le format dynamique 3.0 GGUF

Unsloth annonce la sortie du format Dynamic v3.0 pour les fichiers GGUF, une évolution majeure de sa méthodologie de quantisation post-entraînement (PTQ). Cette nouvelle itération se concentre sur l'amélioration de la précision des modèles, notamment pour la série Qwen3.8-27B, tout en maintenant une taille de fichier identique aux versions précédentes. Les premiers résultats indiquent un gain de plus de 10 % en précision top-1 % par rapport aux offres concurrentes, confirmé par des métriques internes telles que la Divergence-300 @32 et la divergence de Kullback-Leibler (KL Divergence). Cette mise à jour vise à optimiser l'inférence locale sur des moteurs comme llama.cpp et Unsloth Desktop, en répondant aux besoins croissants de compute efficient sur le hardware grand public.

La méthodologie sous-jacente repose sur une refonte complète du jeu de données utilisé pour l'importance matricielle (imatrix). Le nouveau corpus de calibration, plus diversifié et de plus haute qualité, a été spécifiquement affiné pour des tâches d'agentic coding, de chat multilingue et de raisonnement. Unsloth précise que cette approche reste fidèle au PTQ, n'utilisant ni Quantization Aware Training (QAT) ni Quantization Aware Distillation (QAD), ce qui permet de théoriquement réduire les risques de surapprentissage (overfitting) par rapport aux méthodes impliquant un ré-entraînement. Les fichiers imatrix sont par ailleurs rendus publics pour permettre à la communauté de tester, d'évaluer et de créer des variations à partir de ces quantifications.

Un aspect technique notable concerne la gestion de l'espace disque pour les petites quantifications. Pour les modèles sous le format UD-Q2_K_XL (8,37 GB et moins), le module MTP (Multi-Token Prediction) a été retiré, permettant une économie d'environ 500 Mo. Pour les cas d'usage nécessitant cette spécificité, le module reste disponible en téléchargement séparé. Parallèlement, des variantes extrêmement compressées comme le UD-IQ1_S (6,2 GB) ont été produites, affichant une réduction de taille de 89 % tout en conservant environ 72 % de précision top-1 %. Ces ajustements démontrent une volonté de pousser les limites de la compression sans sacrifier de manière critique les capacités de raisonnement du modèle, comme en témoigne la réussite de la génération de programmes HTML fonctionnels là où les versions précédentes échouaient.

L'évaluation de la performance ne se limite plus aux simples mesures de perplexité. Unsloth introduit la métrique Divergence-300 @32, un test utilisant un ensemble de 300 exemples inédits issus de Terminal-Bench 2.1, DeepSWE, Harbor et MathArena, absents du dataset de calibration. Cette méthode permet de comparer la trajectoire de décodage glouton sur 32 tokens entre le modèle BF16 et les versions quantifiées, offrant une indication plus robuste sur la fidélité des comportements inférentiels. Les résultats sur la KL Divergence, corrélée selon l'équipe aux "flips" (changements de réponses de incorrect à correct), montrent que les quants UD-3 améliorent significativement les scores, surtout sur les petites tailles, sans montrer de signes de surapprentissage sur les Wikitext et code non vus lors de l'étalonnage.

Cette annonce intervient dans un contexte où Unsloth continue d'affiner son approcheDynamic, désormais capable de traiter les architectures MoE et non-MoE via une sélection de couches dynamique. La compatibilité avec l'écosystème existant, y compris la correction de bugs spécifiques à Llama 4 et Qwen3 au niveau du tokenisation et des templates de chat, positionne ce format comme une option technique pour les chercheurs et développeurs cherchant à déployer des modèles performants en local avec des contraintes matérielles strictes.