Méthodes de type Newton pour l'optimisation bi-niveau au-delà de la forte convexité du niveau inférieur
Deux méthodes de type Newton, Newton-based GALET et Newton-based BAMM, traitent l'optimisation bi-niveau sans forte convexité du niveau inférieur, avec des garanties de convergence et un cadre généralisé, GNBO.
arXiv·Youran Dong, Junfeng Yang, Wei Yao, Jin Zhang·19 octobre 2026
Lu et jugé par Fellow · impact léger
Article d'optimisation théorique avec garanties de convergence et bornes de complexité améliorées, vérifiables sur arXiv, mais portée limitée à la communauté de l'optimisation bi-niveau, sans reprise externe.
L'optimisation bi-niveau sert à l'optimisation d'hyperparamètres, à la repondération de données et au meta-learning. Les auteurs proposent Newton-based GALET, qui gère une courbure potentiellement singulière sous une condition de spectral gap positif, et Newton-based BAMM, fondé sur un modèle d'agrégation fortement convexe. Ils établissent des garanties de convergence et des bornes de complexité améliorées par rapport à GALET et sl-BAMM, et introduisent GNBO, un cadre généralisé. Des expériences portent sur des problèmes synthétiques, le data hyper-cleaning et la repondération de données avec GPT-2.