Quand assister et que suggérer : gating et génération d'indices ancrés en mémoire dans un seul petit décodeur

Les auteurs évaluent conjointement le gate et le générateur d'assistants proactifs sur 28 058 points de décision. Le profil de mémoire pèse le plus sur la qualité : sa suppression coûte 24,7 points d'exact-match, alors que le retrieval et un générateur plus grand n'apportent rien sur cette métrique. Un décodeur 1B réalise le gating depuis une couche intermédiaire et génère dans la même passe, avec 1,31 à 1,76x moins de temps que le pipeline 1B équivalent. L'évaluation humaine le place au niveau du pipeline 1B et sous le 8B.