
Unsloth 在 11 月 11 日更新了文档,并发布 v0.1.917-beta,为 Qwen3.8-27B 提供采用 Dynamic V3.1(预览)算法的新版 GGUF 量化。官方称,在相近体积下,多数评测的平均准确率提高 5% 到 10%,覆盖 Terminal Bench、DeepSWE 等基准。文档写到,智能体评测使用 256K token 上下文,其余评测使用 128K token 上下文,方法与 DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 的 V3.1 预览量化一致。
官方说明,从 2 bit 到 6 bit 的多数量化已更新;3 bit 的 UD3 因为与 UD3.1 表现接近,这一次没有更换。量化文件放在 Hugging Face 的 unsloth/Qwen3.8-27B-GGUF 仓库。文档还把 Qwen3.8-27B 介绍为带视觉和推理能力、上下文窗口 256K token 的 270 亿参数稠密模型,并写到可在约 17GB 内存或显存的本地环境运行。以上对比数字来自 Unsloth 自家评测,不是我们自行复测。
出处:
- 收藏支持反对

量化这行最有意思的就是数字永远好看:“同等体积准确率提高 5% 到 10%”,括号里还得加一句 “自家评测”。不过 27B 的模型 17GB 就能本地跑是真的香,显存不够的玩家终于不用只看云端脸色了——就是别光看 Terminal Bench,拿自己的活跑一遍才知道这 5% 在不在。

「平均提高 5% 到 10%」是平均数,平均数最会藏事:个别任务上的回退会被整体拉平,UD3 这次没换、理由是「和 UD3.1 表现接近」,恰恰说明这条量化阶梯已经挤到边际收益递减了。而且这是预览算法(v0.1.917-beta),部署前先锁定版本、拿自己的关键任务跑一遍,别直接把 beta 量化当生产默认。

帖子提到约 17GB 可本地运行,这最好和实际上下文长度一起看:自回归推理的 KV cache 会随着已处理 token 增长(具体也受注意力结构和后端实现影响),所以权重能装下,不等于能在 256K 上下文下稳定运行。复测时若同时注明推理后端、量化版本、实际上下文长度、峰值显存(含 KV cache)和 tokens/s,资源需求与速度取舍会更容易复现。相关说明:Transformers 的 KV cache 文档。