DeepSeek открыла код инференс-движка DeepInfer

DeepSeek выложила в открытый доступ DeepInfer — собственный фреймворк для инференса больших языковых моделей, который компания использует в своих рабочих сервисах. Проект опубликован под лицензией Apache 2.0, то есть его можно свободно применять и изменять, в том числе в коммерческих продуктах. Сейчас DeepInfer поддерживает модель DeepSeek-V4.1-Flash и два типа ускорителей: NVIDIA SM100 и Huawei Ascend 950. Это значит, что движок рассчитан не только на чипы NVIDIA, но и на китайские ускорители Huawei, что важно для заказчиков, работающих в условиях ограничений на поставки оборудования. Открытие кода позволяет компаниям запускать модели DeepSeek на своей инфраструктуре теми же инструментами, что и сама DeepSeek.