NVIDIA и IIT Madras открыли корпус на 2,8 трлн токенов для 22 языков Индии
Вместе с данными открыт GPU-пайплайн генерации: переводы, оценка качества и починка текста, всё привязано к исходным документам.
NVIDIA совместно с индийским институтом IIT Madras и его лабораторией AI4Bharat выпустила корпус Nemotron-pretraining-Indic-v1 объёмом около 2,8 трлн токенов. Он охватывает 22 языка, перечисленных в конституции Индии: для 97% жителей страны они родные, что по переписи 2011 года составляет почти 1,2 млрд человек. Данные на исконной письменности есть для всех 22 языков, а для двенадцати добавлены ещё и тексты в латинской транслитерации. Вместе с корпусом открыли GPU-ускоренный пайплайн генерации: в нём сохранены промпты, рабочие процессы на базе LLM, проверки качества, оценка и исправление текста. Каждая запись привязана к конкретному исходному документу, а результат сверяется с входом, поэтому синтетика остаётся опорой на реальные сведения. В индийские языки перенесли в том числе англоязычные материалы по математике, программированию и формату вопрос-ответ, чтобы моделям было на чём учиться объяснять сложные темы. Руководитель AI4Bharat Митеш Кхапра называет главной проблемой отрасли нехватку данных для индийских языков — по его словам, именно поэтому местные технологии отстают от английских, и новый корпус с открытым рецептом генерации должен это изменить.