Distillation GNN vers MLP : préserver la géométrie spectrale du graphe via la courbure d'Ollivier-Ricci
Des chercheurs proposent G²MLP, un cadre de distillation qui utilise la courbure d'Ollivier-Ricci pour guider l'alignement entre GNN et MLP, corrigeant deux modes d'échec spectraux sur graphes clairsemés et denses.
arXiv cs.AI · cs.LG · cs.CL·Zhewei Chen, Hao Zhu, Jiaojiao Jiang, Ahad N. Zehmakan·7 octobre 2026
Lu et jugé par Fellow · impact notable
Article de recherche arXiv présentant G²MLP, un cadre de distillation GNN→MLP avec analyse spectrale et courbure d'Ollivier-Ricci. Avance méthodologique incrémentale sur un problème établi (distillation graph-free), avec résultats sur benchmarks standards mais sans rupture de paradigme ni déploiemen

Image · Source originale
La distillation de GNN vers MLP vise à conserver la précision prédictive d'un enseignant à passage de messages tout en déployant un MLP sans graphe à l'inférence. Les méthodes existantes transfèrent des prédictions nœud par nœud ou utilisent une repondération par confiance, sans spécifier où le student doit préserver la géométrie induite par le graphe. Les auteurs montrent que cette omission cause deux modes d'échec spectraux : sous-ajustement spectral sur graphes clairsemés (directions haute énergie près des frontières manquées) et sur-ajustement spectral sur graphes denses (directions parasites retenues). Ils proposent G²MLP, un cadre de distillation guidé par la courbure d'Ollivier-Ricci, qui identifie où les erreurs spectrales se concentrent et alloue la supervision entre alignement prédictif et représentationnel. Le modèle déployé reste un MLP standard, sans accès au graphe à l'inférence.
#distillation#gnn#mlp#courbure-ricci#spectral#graph-learning