Kimi Linear : une architecture d'attention expressive et efficace

Moonshot AI présente Kimi Linear, une architecture d'attention alternative aux mécanismes softmax classiques, visant à réduire la complexité quadratique tout en préservant la capacité expressive des transformers. Le papier décrit les choix architecturaux permettant d'obtenir des performances compétitives sur les benchmarks standards. Cette approche s'inscrit dans la tendance croissante à explorer des alternatives à l'attention standard pour les grands modèles de langage.