NVIDIA показала Cosmos3-H-Dreams — генеративный симулятор хирургии
Модель обучена на записях клинических операций с роботом Versius и откликается на движения инструментов в реальном времени, сохраняя анатомию. Работает интерактивно на одной GPU RTX PRO 6000.
NVIDIA представила Cosmos3-H-Dreams — генеративную модель, которая в реальном времени рисует сцены операций внутри тела человека и реагирует на команды хирургических инструментов. Систему обучили на видеозаписях и данных кинематики робота Versius от CMR Surgical, собранных во время реальных клинических холецистэктомий. Предыдущая версия Cosmos-H-Dreams работала на платформе Cosmos-Predict2.5 и моделировала лишь настольные задачи вроде наложения швов на dVRK. Новая модель построена на Cosmos 3 и ускорена библиотекой FlashDreams, поэтому интерактивно запускается на одном GPU NVIDIA RTX PRO 6000. Главная сложность — удержать анатомию и инструменты неизменными: внутри тела малейшее движение меняет всю картину, растягивает ткани, смещает блики и перекрывает структуры, а ошибки накапливаются от кадра к кадру. Разработчики подчёркивают, что красивая картинка сама по себе не доказывает биомеханическую точность: сцена обязана последовательно откликаться на движения, повороты и команды захвата.