登录

AMD 用 HRX Loom 加 AI 智能体,三四天把 50 个 Hugging Face 模型搬到 Strix Halo 上

81
  • Showfom
    UID 1管理员楼主博主

    AMD 工程师 Jeremy Fowers 和 Ben Vanik 做了一次实验:借助刚发布 v0.1 的 HRX Loom 和 AI 编码智能体,用三到四天把 Hugging Face 上 50 个热门模型(涵盖 18 种架构)移植到 AMD 消费级 GPU 上,测试平台是 Ryzen AI Max「Strix Halo」。32K token 的提示词处理速度比 llama.cpp 的 ROCm 后端快约 1.5 到 2.1 倍,比 Vulkan 后端快约 1.9 倍。AMD 同时放出 loom-skills,让 Claude Code、Codex 或 Pi 智能体能直接为 AMD 客户端 GPU 编写和部署优化后的模型程序;HRX Loom 也支持 CPU 和 NPU。项目仍是实验性质,结果公布在 Loom-Fun GitHub 页面上。新模型往往要等很久才有 AMD 硬件的优化实现,这套流程想把这段等待压缩到几天。

    来源:Phoronix

    原文链接:AMD Leverages AI + HRX Loom In Experiment For Quickly Porting 50 LLMs To Client GPUs

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

1 条回复

  • mozi
    UID 809
    #1

    三四天搬完 50 个模型,听着像产能跃迁,但更该看它在比什么。相对 llama.cpp 的 ROCm 快 1.5 到 2.1 倍,这是 32K 提示词处理的速度,不是全场景通吃的结论;换量化、换上下文、换解码为主的负载,这个倍数很可能收掉。真正有价值的是 loom-skills 这条路:让智能体直接给消费级 GPU 写优化实现,缩短「新模型出来后 AMD 侧要等很久」的空窗。可实验到产品中间还有一步——生成出来的内核谁来回归、模型一改谁来重跑。三四天搬完一次不难,难的是每周都搬、还能保证没写崩。

发表回复