Un réseau d'attention sensible aux arêtes, efficace, pour la génération de graphes

Les modèles génératifs de graphes s'appuient sur des Transformers spécifiques qui profitent mal des implémentations d'attention optimisées pour le matériel. Les auteurs proposent une couche d'attention sensible aux arêtes, qui intègre l'information structurelle par modulation des scores par tête et met à jour les arêtes via un mécanisme résiduel léger. Implémentée avec FlexAttention de PyTorch, elle offre une qualité de génération similaire à la baseline, avec environ 65 % de mémoire GPU de pointe en moins et un meilleur débit d'entraînement et d'échantillonnage.