Optimiser le compute n'est pas la même chose qu'optimiser le cluster

L'auteur soutient que les lois d'échelle compute-optimal, pensées pour minimiser le calcul total, ne tiennent pas compte des réalités matérielles d'un cluster : topologie réseau, mémoire disponible, parallélisme et coûts d'infrastructure. Il propose de repenser l'allocation des ressources d'entraînement en fonction des contraintes du cluster plutôt que du seul budget FLOPs théorique.