Un correctif pour softmax et l'entropie croisée

Les implémentations standard présentent deux bugs numériques : le Softmax Collapse, qui arrondit à zéro le gradient du logit cible lorsqu'il domine les autres, et la Softmax Cancellation, qui produit des gradients non nuls quand les logits de l'élève et du professeur sont égaux. Les auteurs proposent des implémentations simples qui corrigent les deux. Le correctif élimine le phénomène « Slingshot », accélère le grokking avec weight decay, évite l'effondrement de l'accuracy sans weight decay et empêche l'élève de dériver du professeur en distillation.