Токенизатор BERT ускорили примерно в 50 раз

Авторы библиотеки tokenizers разобрались, почему подготовка текста для BERT занимает так много времени. Замеры показали, что около 88% времени уходило на нормализацию символов, а не на саму разбивку текста на токены. Разработчики переписали узкие места: задействовали SIMD-инструкции, добавили кеш для Unicode и отказались от лишних операций. В результате на модели bert-base-uncased токенизация стала быстрее примерно в 50 раз. Это важный этап обработки данных: чем быстрее готовится текст, тем меньше простаивают вычисления при обучении и работе моделей.