HuggingFace представил Olmo-core 3 для обучения больших MoE

HuggingFace представил Olmo-core 3 — масштабируемую инфраструктуру для обучения больших моделей с архитектурой MoE. Система позволяет эффективно обучать модели объемом до одного триллиона параметров, сохраняя высокую вычислительную эффективность. Особенность в том, что при росте количества экспертов пропускная способность обучения падает менее чем на 5%. Это делает передовую разработку доступной не только гигантам, но и более мелким лабораториям. Проект направлен на упрощение обучения разреженных моделей.