Apprentissage concurrent dans les architectures hybrides

Les auteurs décrivent un phénomène de « Competing Learning » dans les architectures hybrides : lorsqu'une couche apprend une fonction, elle supprime le signal d'apprentissage des autres. La récurrence moderne apprend la fonction de retrieval plus vite que l'attention softmax, qui échoue alors le plus souvent. Arrêter les mises à jour de la récurrence en cours d'entraînement aide l'attention. Une procédure de pré-entraînement par étapes, testée jusqu'à 1B de paramètres, améliore la loss de modélisation du langage, le raisonnement de sens commun et les tâches de retrieval.