Prédiction de benchmarks à partir de réponses en cache éparses et non appariées

Évaluer un modèle génératif sur toutes les requêtes de tous les benchmarks est trop coûteux, ce qui produit des matrices de scores (modèle, tâche) éparses et non appariées. Les auteurs introduisent le Product Kernel Perspective Space (PKPS), qui compare les réponses à des requêtes similaires, et non seulement identiques. Ils montrent théoriquement que la prédiction via PKPS est efficace en requêtes, et empiriquement qu'elle surpasse les baselines sur deux grandes suites de benchmarks.