3 items

#catastrophic-forgetting

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
heat 42
Clustering continu non supervisé par distillation de connaissances bidirectionnelle
FBCC propose une nouvelle approche pour apprendre des clusters séquentiels sans données passées ni étiquettes, limitant l'oubli catastrophique.
RECHERCHE
heat 45
SETA : apprentissage continu sans tâche via des experts creux et décomposition en sous-espaces
Un nouveau framework MoE décompose les paramètres des LLM en experts spécifiques et partagés pour résoudre l'oubli catastrophique en apprentissage continu.
RECHERCHE
heat 58
Apprentissage rapide et lent : vers des LLM à adaptation continue
Un framework « fast-slow » combine mise à jour des paramètres et optimisation du contexte pour rendre les LLM jusqu'à 3× plus efficaces en apprentissage.

3 items

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
heat 42
Clustering continu non supervisé par distillation de connaissances bidirectionnelle
FBCC propose une nouvelle approche pour apprendre des clusters séquentiels sans données passées ni étiquettes, limitant l'oubli catastrophique.
RECHERCHE
heat 45
SETA : apprentissage continu sans tâche via des experts creux et décomposition en sous-espaces
Un nouveau framework MoE décompose les paramètres des LLM en experts spécifiques et partagés pour résoudre l'oubli catastrophique en apprentissage continu.
RECHERCHE
heat 58
Apprentissage rapide et lent : vers des LLM à adaptation continue
Un framework « fast-slow » combine mise à jour des paramètres et optimisation du contexte pour rendre les LLM jusqu'à 3× plus efficaces en apprentissage.