Régression profonde tabulaire : fonctions objectif et limites de l'early stopping global

Les auteurs réévaluent les fonctions objectif de régression sur de nombreux jeux de données tabulaires et plusieurs backbones neuronaux. Beaucoup d'objectifs proposés n'apportent que des gains limités ou inconstants face à une MSE bien réglée, alors que la quantile loss améliore de façon constante les résultats agrégés. Les régions à niveaux de bruit différents atteignent leur optimum à des époques distinctes, ce qui rend un checkpoint d'early stopping global sous-optimal. Une extension de la quantile loss, avec label smoothing dépendant de l'entrée, améliore les résultats sur plusieurs backbones.