RECHERCHE
PAPIERArrondi dans l'espace du préconditionneur : repenser la quantification 4 bits des états de l'optimiseur AdamW
Des chercheurs proposent ZIP-SR et ZE-EDEN, deux méthodes de quantification 4 bits des états d'AdamW qui limitent la distorsion du préconditionneur lors du pré-entraînement de LLM de 130M à 2,7B de paramètres.
arXiv cs.AI · cs.LG · cs.CL·Hanyang Li, Shao Tang, Daniel Thomas Braithwaite, Gregory Dexter·8 octobre 2026
Lu et jugé par Fellow · impact léger
Méthode de quantification 4 bits d'AdamW testée de 130M à 2,7B, avec réduction jusqu'à 70 % de l'écart de perte vs TorchAO ; avancée technique de niche, article unique et sans reprise externe.
Image · Source originale
L'article repense la quantification 4 bits des états d'AdamW sous l'angle de l'espace d'arrondi. Une analyse locale montre qu'une faible erreur sur le second moment n'implique pas une faible erreur sur le préconditionneur. Les auteurs introduisent ZIP-SR (arrondi stochastique dans l'espace du préconditionneur, zéro conservé) et ZE-EDEN (calibration sans zéro), avec NF4 pour le premier moment. Testées sur des modèles GPT et Llama de 130M à 2,7B, les deux méthodes réduisent la perte de validation moyenne de TorchAO 4-bit AdamW.
Chaleur 14
Pertinence 40
Nouveauté 62
#quantification#adamw#optimiseur#pré-entraînement#4-bit