κ-LoRA : le nombre de conditionnement révèle quelles matrices LoRA méritent d'être mises à jour

Les chercheurs montrent que les matrices LoRA à fort nombre de conditionnement contiennent les directions sous-développées qui pilotent l'essentiel des gains de performance. En limitant les mises à jour aux 50% de matrices ayant le nombre de conditionnement le plus élevé, κ-LoRA réduit le nombre de paramètres entraînables, le temps de calcul et la mémoire nécessaire, tout en maintenant les performances sur plusieurs benchmarks.