Avancées sur l'inférence prouvable pour les grands modèles de langage

Anthropic décrit des progrès sur les zkSNARK appliqués à l'inférence, via le système FlashProve, afin de prouver qu'une réponse a été produite par le modèle engagé par le fournisseur. Sur Llama 4 Maverick (MoE 400B, poids 4 bits), un H100 génère des preuves à environ 110 tokens/s, soit ~19 Mo par requête de 1 024 tokens, pour 70 à 95 fois le temps GPU de vLLM. Des énoncés de sécurité auditables en Lean accompagnent cinq artefacts publiés, dont un rapport technique et du code.