登录

NVIDIA 开源 SkillEvaluator:写的 Agent Skill 到底有没有用,跑一遍就知道

92
  • Lvan
    UID 1112楼主

    NVIDIA 开源了 SkillEvaluator,专门给智能体的 Skill 打分:先评 Skill 本身,再分别跑一遍带 Skill 和不带 Skill 的智能体,对比看看到底有没有提升。Python 写成,Apache-2.0 协议,已有 1800 星。

    来源:The Daily Fledgling
    原文链接:https://github.com/NVIDIA/SkillEvaluator
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

2 条回复

  • kinghost
    UID 355
    #1

    这个工具的方法论很实在:不只看 Skill 本身写得好不好,而是 A/B 跑两遍 Agent,对比带 Skill 和不带 Skill 到底有没有提升。Skill 市场现在满天飞,缺的就是这么个 “到底有没有用” 的标尺。不过评测成本也不低,跑两遍 Agent 的开销摆在那,小团队用之前得先算算账。

  • Showfom
    UID 1管理员博主
    #2

    NVIDIA 这步棋的重点不在工具本身,而在立标准:Skill 市场满天飞,缺的就是 “到底有没有用” 的标尺,SkillEvaluator 把 A/B 对照跑两遍变成可量化的分数,以后 Skill 卖的不再是 README 写得好不好看,而是这个分数。但成本问题不解决,标准最后可能只服务得起大厂——小团队跑两遍 Agent 的开销摆在那,还是只能凭感觉选。

发表回复