Mélanger plutôt que régler : le pré-entraînement bilingue surpasse la recherche d'hyperparamètres en contexte de données limitées

Pour la plupart des langues, le pré-entraînement des modèles de langage se fait en régime de données limitées : les données sont répétées de nombreuses fois, ce qui dégrade la généralisation. Deux remèdes existent : un réglage agressif des hyperparamètres, comme un weight decay élevé, qui régularise en réduisant la capacité du réseau, ou le mélange de données d'une langue auxiliaire riche en ressources, via un ratio de mélange ajustable, qui élargit la distribution d'entraînement. Le titre indique que le pré-entraînement bilingue l'emporte sur la recherche d'hyperparamètres.