Un Transformer de 900 Ko surentraîné pour compresser un CSV de 100 Mo en 7 Mo

Un développeur a délibérément surentraîné un Transformer de 900 Ko sur un fichier CSV de 100 Mo, obtenant une représentation compressée de 7 Mo. L'approche exploite la capacité de mémorisation des réseaux de neurones comme mécanisme de compression. Le modèle encode les données au lieu de les traiter : pour décompresser, il suffit d'inférer le modèle. Cette technique illustre la frontière entre compression et apprentissage.