Validité des LLM comme annotateurs : AMALIA face au construit d'autorité

L'étude teste AMALIA, modèle national portugais de 9B paramètres, comme annotateur automatique pour le construit moral d'autorité. Si l'accord avec des codeurs humains est compétitif, la décomposition du prompt en clauses atomiques révèle une chute de performance significative, signe de raccourcis de surface plutôt que de compréhension du construit. Un LLM multilingue ouvert ferme cet écart sur le même corpus, suggérant que le modèle-instrument est la source principale d'échec.