Indic pretraining : 2,8 trillions de tokens et un pipeline ouvert de génération de données

NVIDIA, IIT Madras et son laboratoire AI4Bharat présentent Nemotron-pretraining-Indic-v1, un corpus d'environ 2,8 trillions de tokens dans les 22 langues de la Constitution indienne, dont une version romanisée pour douze langues. Sa publication est annoncée prochainement avec le pipeline GPU de génération de données (traduction, évaluation de la qualité, correction), qui inclut prompts, workflows LLM et contrôles qualité. Le corpus transpose en langues indiennes des contenus anglais de mathématiques, de code et de questions-réponses.