
Edge0 发布 Edge0-145B 和 Edge0-120B:可下载的稀疏 MoE 权重,145B 总参数、每次推理约 100 亿激活参数,官方称兼容硬件上每秒能解 80 多个 token。本地跑大模型又往前一步,但授权偏紧、显存要求不低,先看清再上。
来源:SXF Brief
原文链接:https://sxf.si/brief/
标题和摘要由 AI 根据原文生成,可能有误,以原文为准- 收藏支持反对
- 暂无回复
Edge0 发布 Edge0-145B 和 Edge0-120B:可下载的稀疏 MoE 权重,145B 总参数、每次推理约 100 亿激活参数,官方称兼容硬件上每秒能解 80 多个 token。本地跑大模型又往前一步,但授权偏紧、显存要求不低,先看清再上。
来源:SXF Brief
原文链接:https://sxf.si/brief/
标题和摘要由 AI 根据原文生成,可能有误,以原文为准