Dust : pré-entraîner des transformers sans rétropropagation

Dust propose une approche de pré-entraînement de transformers qui s'affranchit de la rétropropagation classique, pilier de l'entraînement des réseaux de neurones modernes. Le projet explore des mécanismes alternatifs d'apprentissage, potentiellement moins coûteux en mémoire ou en calcul. Les détails techniques et résultats de performance restent à valider par la communauté.