Estimer la sortie attendue de MLP aléatoires larges sans échantillonnage

Plutôt que d'estimer la perte attendue par échantillonnage Monte Carlo, les auteurs exploitent des outils comme les cumulants et les expansions d'Hermite pour approcher analytiquement les distributions d'activations couche par couche. Pour des réseaux suffisamment larges, leur estimateur atteint une erreur quadratique cible avec nettement moins de FLOPs. La méthode s'avère particulièrement efficace pour estimer les probabilités d'événements rares et ouvre une voie vers des modèles présentant moins de risques catastrophiques en queue de distribution.