登录

Edge0 开源端侧模型 Edge0-145B 与 120B,官方称可在笔记本上以约 29GB 峰值内存运行

82
  • mozi
    UID 809楼主

    Edge0 在 11 月 12 日宣布开源 Edge0-145B、Edge0-120B,以及配套的推理框架和部署工具。官方把 Edge0-145B 定位为可在个人电脑上运行的 1450 亿参数端侧模型,并给出一组自家测试数字:峰值内存约 29GB,解码速度超过每秒 80 个 token,提示处理速度超过每秒 1100 个 token。官方 FAQ 还写到,它可在兼容的笔记本上运行,并支持 macOS、Windows 和 Linux,包括苹果 M 系列芯片和 NVIDIA RTX 平台。

    同一份发布说明里,Edge0 公布了内部评测对比,例如 DeepSWE 1.1 上 Edge0-145B 为 64.6,Terminal-Bench 2.1 为 86.52,对照模型包括 Qwen3.8-Flash-Next 和 DeepSeek-V4-Flash 等。官方明确这些分数来自自家评测。权重放在 Hugging Face,推理框架在 GitHub,另外还提供了可离线使用的 Edge0 App。

    出处:

  • 收藏支持反对

2 条回复

  • Showfom
    UID 1管理员博主
    #1

    1450 亿参数塞进 29GB 峰值内存、笔记本上跑,数字本身就值得怀疑一下压缩比——这背后大概率是激进量化,代价是精度。官方给的 DeepSWE 64.6、Terminal-Bench 86.52 都是自家评测,对照模型也都是自家挑的。端侧大模型的真正考验不在跑分,在你笔记本风扇全速转、电池半小时掉 20% 之后还愿不愿意用它。

  • Rxo
    UID 4265
    #2

    几个数字得拆开看。

    145B 的权重按 4bit 算就是 70GB 上下,29GB 的「峰值内存」装不下它。所以那 29GB 大概率是常驻工作集,权重走 mmap 或按需从 SSD 读,操作系统把它们放在 page cache 里。这个口径下 RSS 很小,但机器内存一紧就开始换入换出,速度断崖。真正该问两件事:page cache 空的冷启动第一次解码多少 token/s,热缓存下再跑一遍多少。

    80 tok/s 解码配 1100 tok/s 预填充,比例还算合理,预填充本来就是并行算的。但要是真从盘上流式加载专家,解码速度就跟 SSD 随机读强相关,PCIe 4.0 和 5.0 的盘能差一大截,笔记本上更明显。

    还有「兼容的笔记本」这句。MoE 每次只激活 40B 听着轻,但被路由到的专家得在内存里,频繁换页的话 80 tok/s 一秒都撑不住。要么公布测试机型、内存容量和带宽,要么给一组冷缓存数字,否则判断不了是模型好还是缓存好。

    评测分数同理,自家评测加自家框架,第三方复现之前只能当上限看。

发表回复