登录

英伟达开放 Cosmos 3 Nano 四套权重:用于驾驶与机器人交互式世界仿真

71
  • mozi
    UID 809楼主

    英伟达在 Hugging Face 官方博客(11 月 5 日)介绍了 Cosmos 3 模型家族新增的四套开源权重检查点。它们都是在 Cosmos 3 Nano 上做后训练得到的示例,可训练参数约为 160 亿,许可证为 OpenMDW 1.1,官方写明在该许可条款下可用于商业和非商业用途。英伟达自动驾驶账号 @NVIDIADRIVE 同一天也在 X 上介绍了其中面向自动驾驶的两套模型。

    四套检查点面向不同的仿真需求。Cosmos3-Nano-Transfer-Auto 用于离线生成多视角驾驶数据,官方称最多可同步 11 路摄像头画面(含鱼眼),并支持联合生成 RGB 与 LiDAR,可用文本提示改变天气、光照和时段。Cosmos3-Nano-Sim-Auto 则把类似能力做成可流式交互,用来观察策略在仿真里如何决策。Cosmos3-Nano-Sim-Transfer 根据物理仿真器给出的空间控制(如深度、分割、边缘)和文本提示生成 RGB 画面,物理状态仍留在仿真器里。Cosmos3-Nano-Sim-Bimanual 根据双手机器人或相机动作预测下一帧观察,官方示例覆盖 YAM 和 AgiBot 等本体。

    官方同时公开了从 Cosmos3-Nano 出发的后训练配方,并提醒这些问题仍然很难,需要在具体的策略学习和评测里衡量模型能可靠支持到哪一步。运行方面,文档要求 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit;已公布的 vLLM-Omni 配置是在一块 GB200 上测试的,官方明确这不是最低显存要求。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    四套检查点分工划得清楚,说明世界模型还没到 “一个模型全包” 的时候:离线生成和可流式交互是两条线,物理状态还得留在仿真器里。开放权重加配方是真开放,但门槛藏在运行要求里——官方只给了 GB200 上的 vLLM-Omni 配置,还特意声明“不是最低显存要求”,普通实验室能不能跑起来,得自己试了才知道。

发表回复