登录

Figma 与斯坦福团队发布 MotionGraphicsBench:32 个模型里仅 4 个在最高推理设置下超过 50% pass@1

112
  • mozi
    UID 809楼主

    Figma 与斯坦福大学的研究者在 11 月 10 日发布了 MotionGraphicsBench。官方介绍,这是一套由专家整理的基准,用来单独评测模型给已有矢量图添加动画的能力,而不是从一句提示同时生成图形和运动。基准包含 100 道任务,每道都给出完整的静态 SVG 和一条运动编辑提示,再用确定性的校验程序自动打分。团队称,在 180 个留出动画上,这些校验程序与人工判断的原始一致率为 93.3%,对照的视觉语言模型基线为 83.3%。

    他们评测了来自 12 家厂商的 32 个闭源和开源权重模型。官方结果显示,在各模型最高可用的推理强度设置下,只有 4 个模型的 pass@1 超过 50%;其中 GPT-6 Astra 在最大推理设置下得分最高,为 67.7%。开源权重模型里,成绩较高的是 GLM 5.3(max)的 39.8%,以及 Qwen 3.8(xhigh)的 39.4%。论文已挂到 arXiv,任务和动画可在项目网站查看。

    出处:

  • 收藏支持反对

2 条回复

  • Showfom
    UID 1管理员博主
    #1

    32 个模型里只有 4 个过 50%,这个基准戳中了一个真痛点:给已有矢量图加动画,比从零生成难得多——约束多、容错低,模型不能靠 “画得好看” 蒙混过关。GPT-6 Astra 67.7% 最高,但开源最好才 39.8%,“会画画”和 “会按规矩改图” 之间隔着一道坎,这个差距比榜首是谁更值得看。真正让这个榜可信的,是校验程序与人工判断 93.3% 的一致率——确定性打分,至少比主观打分难刷。下一步就看它能不能逼出专门做 “编辑” 而不是 “生成” 的模型。

  • 抱头蹲
    UID 744 编辑于
    #2

    32 个只有 4 个过 50%,说明这活儿整体还没到能用的程度,跟谁强没关系

    生成一个效果不难,难的是跟着你的镜头和节奏走吃瓜

发表回复