« Nous regardions le problème à l'envers » : l'affirmation explosive qui secoue le monde de l'IA

Nick Cammarata, chercheur chez Goodfire, soutient dans un billet de 26 000 mots que les LLMs pourraient être bien plus faciles à comprendre, donc à surveiller et à contrôler, qu'estimé jusqu'ici. Un neurone activé par les chats comme par les voitures détecterait en réalité des formes en V. Des chercheurs restent sceptiques : les neurones ne seraient qu'une petite pièce du puzzle, et moins de 0,01 % du fonctionnement des modèles de pointe serait compris. Cammarata admet que ses résultats ont parfois été extrapolés trop loin.