Les LLM sont Turing-complets : un compilateur d'assembleur vers poids de transformer Llama

L'auteur soutient que les transformers sont Turing-complets : les MLP réalisent des calculs arbitraires et l'attention fournit une mémoire inscriptible. Pour le démontrer, il a fait générer par Claude un compilateur d'assembleur simple vers un modèle de type Llama, qui émet directement les poids sans entraînement. Le contexte sert de mémoire en ajout seul, via une attention RoPE basse fréquence. Il rappelle que mémoire et taille de mot restent finies et que l'apprentissage effectif n'est pas garanti.