Decoupled DiLoCo : une nouvelle frontière pour l'entraînement IA distribué et résilient

DeepMind publie Decoupled DiLoCo, une évolution de l'algorithme DiLoCo conçu pour l'entraînement distribué de grands modèles sur des infrastructures hétérogènes ou peu connectées. La méthode dissocie les phases de calcul et de communication, réduisant la dépendance à une bande passante élevée et renforçant la résilience face aux pannes réseau. Cette approche ouvre la voie à des entraînements à grande échelle sur des clusters géographiquement dispersés.