Accélérer le refit des poids en apprentissage par renforcement avec le Reshard Collective

Lors du post-training par reinforcement learning (RL), les trajectoires sont générées à la volée par inférence avec le modèle de politique courant. Pour l'efficacité, l'inférence et l'entraînement tournent souvent en parallèle sur des GPU distincts. Le modèle n'étant mis à jour que sur les GPU d'entraînement, les poids doivent être périodiquement rafraîchis côté inférence, étape que le Reshard Collective vise à accélérer.