Vous auriez pu inventer les transformers à partir de la mémoire

L'auteur présente les couches linéaires, les MLP et la self-attention comme différents types de mémoires associatives stockant des paires clé-valeur. Il s'appuie sur le rapport interférence/signal pour définir la capacité d'une mémoire. Avec des clés de dimension 64, la capacité passerait d'environ 64 mémoires pour une couche linéaire à environ 2 700 pour un MLP, puis à plus d'un million pour la self-attention.