Tapered Language Models : allouer plus de capacité aux premières couches

Les LLMs actuels empilent des couches identiques avec une répartition uniforme des paramètres, héritage non questionné du transformer original. Des chercheurs montrent que concentrer la capacité sur les couches initiales améliore la perplexité, tandis que l'inverse la dégrade. Ils proposent les Tapered Language Models (TLMs), qui appliquent une réduction monotone de la largeur des MLP selon un calendrier cosinus. Cette approche améliore systématiquement les performances sur quatre architectures et trois échelles, sans paramètres ni calculs supplémentaires.