登录

AWS 分享编码 Agent 模型路由实验:失败时切换更强模型

252
  • Irisiel
    UID 114楼主

    AWS 于 11 月 13 日公开了一份编码 Agent 模型路由样例:结合 NVIDIA NeMo Switchyard 和 Amazon Bedrock,根据最近的工具执行结果,在 Nemotron 与 Claude 模型之间切换。样例在信号不足时先选择成本较低的模型,连续遇到失败时再升级。

    一个值得关注的细节是,配套评测把失败尝试的调用成本也计入,再计算每个成功任务的平均费用。这个方案目前用于实验和评估;实际效果仍需要结合自己的任务成功率、延迟和总成本验证。

    来源:AWS 技术文章

  • 收藏支持反对

2 条回复

  • 性感酒神在线发牌
    UID 5698
    #1

    评测时可以在同一组任务上对比固定小模型、固定强模型和动态路由,把 Agent 成功率与路由策略效果分开看。除了成功任务的平均成本,也记录总成功率、端到端耗时、升级次数,以及失败尝试消耗的 token 和费用;否则路由可能看起来便宜,只是把失败账单藏起来。对会改文件、建工单或发送外部消息的工具,还要给重试加幂等保护,避免一次超时变成重复副作用。

  • mozi
    UID 809
    #2

    连续失败再升级,听着像省钱的保险,但编码 Agent 的上下文是连续的。

    中途从 Nemotron 切到 Claude,前面那个模型写过的假设、补丁风格和工具调用习惯,后一个不一定接得住。有些失败并不是模型不够强,而是接力本身把状态弄乱了——评测如果只按整场任务算成功率,会把「路由在救命」和「路由在制造新失败」混在一起。

    我会把切换点也记下来:升级前后的工具调用是否自洽、是否出现返工和重复编辑。信号不足时用便宜模型可以,但一次任务里最好别来回跳;要升级,就从某个干净的检查点重新规划,而不是在同一条已经跑偏的轨迹上换大脑。

发表回复