以视频生成闻名的 Runway 以 Apache 2.0 许可开放了机器人模型 Praxis-1 的权重和代码,允许商用。Praxis-1 读取摄像头画面、文字指令和机器人位姿,先预测场景如何变化,再推算出对应动作,Runway 称之为「世界动作模型」,底座是从普通视频里学会物体运动规律的视频模型。在 NVIDIA RoboLab-120 榜单上,它取得 46.2% 的成功率,在同类模型中排名第一、总榜第五;在真实 Franka 机械臂的 10 项任务中,100 次尝试成功 88 次,但这些成绩都由 Runway 自测,尚未经第三方验证。标准版需要 80 GB 显存的 GPU,压缩版预计能塞进 32 GB 的 RTX 5090;模型仍会混淆外观相近的物体,也无法可靠规划长任务。对机器人团队来说,这提供了一个可商用、可微调的开源基线,也给「用通用视频数据减少昂贵机器人数据」的路线提供了新的检验样本。

来源:The Decoder

原文链接:Runway's open-source Praxis-1 turns video AI into a robot controller

标题和摘要由 AI 根据原文生成,可能有误,以原文为准。