KEEP-Bench : évaluer la préservation des preuves dans la compression de contexte

KEEP-Bench est un benchmark diagnostique de 4 102 cas évaluant directement la fidélité de la compression de contexte, sur trois situations : résolutions de référence plausibles, qualificatifs explicites et perspectives minoritaires. Le meilleur modèle open-weight (31B) préserve toutes les preuves requises dans 66,8 % des cas, le meilleur modèle propriétaire dans 61,6 %. Les auteurs introduisent aussi l'Evidence Preservation Return (EPR), qui relie le rappel des preuves aux FLOPs d'inférence et culmine pour des modèles de 4B à 8B.