BnBERT-iPET : modélisation few-shot parcimonieuse pour le bengali via l'élagage Lottery Ticket

Les chercheurs présentent BnBERT-iPET, une approche few-shot combinant entraînement itératif par exploitation de patterns et élagage selon la Lottery Ticket Hypothesis. En ne conservant que 10% des connexions d'un modèle BERT initial, ce modèle allégé rivalise avec Bangla Electra, Indic-BERT et XLM-RoBERTa sur des tâches complexes en bengali, tout en réduisant fortement les coûts computationnels et l'empreinte carbone.