RECHERCHE
Caractérisation des questions de compétence générées par LLM : étude empirique multi-domaines
Une étude compare la qualité des questions de compétence produites par des LLMs open et closed pour l'ingénierie d'ontologies, sur plusieurs domaines.
arXiv cs.AI · cs.LG · cs.CL·Reham Alharbi, Valentina Tamma, Terry R. Payne, Jacopo de Berardinis·17 avril 2026
Les questions de compétence (CQs) constituent un outil central dans l'élicitation des exigences en ingénierie d'ontologies. Cette étude introduit des mesures quantitatives pour comparer systématiquement les CQs générées par plusieurs LLMs — dont Kimi K2, LLaMA 3.1/3.2, Gemini 2.5 Pro et GPT-4.1 — selon des critères de lisibilité, pertinence et complexité structurelle. Les résultats montrent que les performances reflètent des profils de génération distincts selon les modèles.
Chaleur 0
Pertinence 55
Nouveauté 58