GiVA : initialisation par gradients pour l'adaptation vectorielle des LLM

GiVA propose une initialisation guidée par les gradients pour les méthodes d'adaptation vectorielle, offrant une efficacité paramétrique extrême sans sacrifier les performances. La méthode réduit les besoins en rang d'un facteur 8 par rapport aux approches vectorielles existantes, tout en maintenant des temps d'entraînement comparables à LoRA. Les évaluations couvrent la compréhension et la génération de texte naturel, ainsi que la classification d'images.