Pourquoi l'unlearning « forget-only » nécessite de mémoriser : bornes théoriques sur la suppression de données dans les modèles

Ce papier étudie l'unlearning « forget-only », où l'algorithme de suppression ne reçoit que le modèle entraîné et les exemples à oublier, sans données retenues. Les auteurs montrent que la faisabilité dépend de la méthode d'apprentissage : des jeux de données différents peuvent produire le même modèle tout en exigeant des sorties très différentes après suppression. Ils en déduisent des bornes inférieures sur la précision de l'unlearning pour plusieurs algorithmes standards, puis démontrent que réussir l'unlearning exige de mémoriser une quantité d'information pouvant atteindre l'intégralité du jeu de données — bien plus que l'entraînement ordinaire ne conserve.