Préserver la plasticité en apprentissage continu via l'isométrie dynamique

L'entraînement continu de réseaux profonds en environnements non-stationnaires provoque une dégradation progressive de leur plasticité. Les auteurs relient ce phénomène au Neural Tangent Kernel empirique et identifient l'isométrie dynamique — maintien des valeurs singulières des jacobiens couche par couche proches de 1 — comme mécanisme clé. Ils proposent un schéma de régularisation et l'optimiseur AdamO, variant d'Adam découplant la régularisation isométrique des mises à jour de gradient, surpassant les approches existantes sur des benchmarks supervisés et en apprentissage par renforcement.