Un auto-encodeur polynomial surpasse l'ACP sur les embeddings de transformeurs

Ivan Pleshkov présente une architecture d'auto-encodeur utilisant des fonctions polynomiales comme non-linéarités pour réduire la dimensionnalité des embeddings issus de transformeurs. Sur ses benchmarks, l'approche surpasse l'ACP classique en termes de reconstruction et de séparabilité des représentations. L'article détaille l'implémentation et compare les résultats sur plusieurs jeux de données.