Les transformers ont-ils besoin de trois projections QKV ? Étude systématique des variantes

Ce papier mène une étude systématique des variantes de projections QKV dans les transformers, questionnant la nécessité des trois projections distinctes (Query, Key, Value). Les auteurs évaluent différentes configurations pour mesurer l'impact sur les performances et l'efficacité computationnelle. Les résultats pourraient ouvrir la voie à des architectures d'attention plus légères sans perte significative de qualité.