CompressionBench : vos agents de code peuvent-ils compresser des LLM ?

CompressionBench formule la compression de LLM comme une tâche terminale : l'agent reçoit un checkpoint, une limite de stockage, un environnement d'inférence et un budget temps, puis produit poids compressés et code d'inférence. Sur six agents et six configurations modèle-taille, 29 soumissions sur 36 passent la vérification. La meilleure conception par tâche affiche +3,4 % de perplexité vs BF16 et 77,33 % de précision downstream contre 79,56 %. Les échecs en génération et inférence échappent à la seule perplexité.