Suivre le gradient textuel à grande échelle (2025)

L'équipe de Stanford AI Lab présente une approche baptisée « feedback descent », qui consiste à optimiser des prompts ou des sorties de LLM en suivant un gradient défini directement dans l'espace des tokens. La méthode contourne la nécessité d'accéder aux poids du modèle et se veut scalable. Elle ouvre des perspectives pour le fine-tuning, l'optimisation de prompts et l'alignement sans gradient numérique traditionnel.