Токенизация BERT ускорилась примерно в 50 раз
В библиотеке tokenizers отказались от лишней обработки ASCII, добавили SIMD и кеш Unicode. Ускорение касается BERT‑моделей для эмбеддингов, поиска, RAG, реранкеров и классификаторов.
Команда библиотеки tokenizers готовит к релизу v1.0.0 ускорение токенизации для моделей BERT и BPE. Классические BPE-токенизаторы стали работать до 30 раз быстрее, чем в версии 0.23, а bert-base-uncased после дополнительной оптимизации ускорился еще в 5,7 раза. Суммарный прирост для BERT составил около 50 раз. Ускорение дали отказ от лишней обработки ASCII, SIMD-инструкции и кеширование Unicode. При профилировании выяснилось, что на нормализацию уходило 88% времени токенизации. BERT-подобные модели остаются массовыми: all-MiniLM-L6-v2 скачивают 218 млн раз в месяц, ms-marco-MiniLM-L6-v2 — 79 млн, bert-base-uncased — 34 млн. Улучшения важны для эмбеддингов, поиска, RAG, реранкеров и классификаторов, а изменения пока находятся на стадии пул-реквеста.