Toutes les news taguées avec ce sujet.
Une étude remet en question l'architecture QKV classique des transformers et explore si les trois projections sont toutes nécessaires.
Un framework de communication entre agents LLM qui remplace les messages textuels par des perturbations LoRA transitoires, réduisant les tokens traités de 83 %.
Une nouvelle architecture ViT élimine l'attention quadratique patch-à-patch grâce à des « core tokens » appris, permettant une complexité linéaire O(N).