NVIDIA добавила в Cosmos 3 четыре open-weight чекпоинта

Что нового

В Cosmos 3, платформе NVIDIA для разработки мировых моделей, добавились четыре open-weight чекпоинта. Все четыре модели являются примерами посттренировки Cosmos 3 Nano и имеют 16B обучаемых параметров. Речь о вариантах Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer и Cosmos3-Nano-Sim-Bimanual. Модели распространяются по лицензии OpenMDW1.1: она допускает коммерческое и некоммерческое использование на своих условиях.

Как устроены модели

Cosmos3-Nano-Transfer-Auto генерирует синхронное видео с максимум 11 камер, включая фишай. Помимо RGB, модель поддерживает совместную генерацию LiDAR с выровненными контролами HD-карты и range-map. Cosmos3-Nano-Sim-Auto описан как потоковый вариант Transfer-Auto, полученный причинной дистилляцией. Cosmos3-Nano-Sim-Bimanual отвечает за интерактивную симуляцию двух рук для платформ YAM и AgiBot; в примере смешанных действий используется 59 значений контроля, которые при обучении дополняются до 64.

В основе дистилляции согласованности лежит замороженный учитель, который обучает ученика генерировать каждый чанк за четыре шага денойзинга. После первого изображения один шаг латентного времени соответствует четырём RGB-кадрам. Transfer предсказывает один шаг на чанк, оптимизированная сборка Bimanual в отчёте предсказывает два. Для согласования тайминга на T переходов нужно T+1 наблюдение.

Доступ, требования и оговорки

Чекпоинты можно скачать; открытые веса и рецепты посттренировки компания называет общей отправной точкой для адаптации моделей. Для Sim-Bimanual нужны Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit; сервер скачивает веса, клиенты получают примеры входных данных. Опубликованная сборка vLLM-Omni тестировалась на одном GB200, и в источнике отдельно указано, что это не минимальное требование к памяти. Цена использования чекпоинтов не названа, как и результаты бенчмарков.

Компания также предупреждает: для замкнутого цикла нужны среда симуляции и рендерер WSM, обновляющие управление по входным данным. Успешный короткий запуск подтверждает выполнение, а не сходимость. По словам источника, по-прежнему трудно измерить, где модели действительно поддерживают обучение и оценку политик.

Что это значит для авторов и селлеров

Судя по описанию, Cosmos 3 ближе к симуляции и обучению роботов, чем к рекламным роликам и карточкам товаров. Пока нет ни бенчмарков, ни примеров качества, поэтому делать выводы о пригодности для контента рано. Открытые веса и рецепты посттренировки могут пригодиться тем, кто готов адаптировать модель под свои задачи, но стоит заранее проверить лицензию и требования к оборудованию.