Entraînement d'ensembles à hyperparamètres divergents pour grands modèles avec exploration automatique du learning rate

HDET (Hyperparameter-Divergent Ensemble Training) propose d'exploiter les répliques GPU habituellement dédiées au data-parallel pour explorer simultanément différentes configurations de learning rate. La méthode alterne entre une phase d'entraînement indépendant par réplique et une phase de convergence via AllReduce. Un contrôleur auto-LR ajuste dynamiquement le schedule partagé en se basant sur les pertes relatives entre répliques. Le cadre s'étend à tout hyperparamètre scalaire n'affectant pas l'architecture.