Les LLM peuvent-ils surpasser les algorithmes classiques d'optimisation d'hyperparamètres ?

Ce papier arXiv examine la capacité des LLM à effectuer l'optimisation d'hyperparamètres, une tâche traditionnellement dévolue à des algorithmes spécialisés comme Bayesian optimization ou les méthodes évolutionnaires. Les auteurs comparent les performances des LLM face à ces approches classiques sur plusieurs benchmarks. Les résultats permettent d'évaluer dans quelle mesure les LLM peuvent servir d'optimiseurs généraux pour le réglage de modèles ML.