
Thinking Machines Lab 的 Inkling 2 Small 已在 Hugging Face 放出开源权重,协议是 Apache 2.0。官方模型卡把模型发布日期写为 11 月 5 日;公开报道和仓库显示,权重大约在 11 月 12 日上线,可供下载、微调和接入第三方产品。
这是一个原生多模态的稀疏 MoE 模型:接收文本和图像,输出文本,上下文窗口最长 100 万 token。官方给出的规模是总参数 594B、激活约 17B,结构为 48 层解码器,每个 token 会路由到 384 个专家中的 8 个,注意力则是局部层和全局层的混合。权重提供两种精度:主推的是模型从预训练到后训练都使用的原生 NVFP4,官方建议优先用这一版;另有 MXFP8 版本,官方称评测上大约高 1 到 2 个百分点,但并不认为这对实际使用有实质意义。
硬件门槛不低。官方写明,NVFP4 检查点至少需要合计 500GB 显存,例如 2 张 NVIDIA B300 或 4 张 H200;MXFP8 则至少需要 800GB,例如 4 张 B300 或 8 张 H200。本地推理可以走 SGLang、vLLM、TokenSpeed、Unsloth 等框架,也可以通过 Tinker 平台以及 NVIDIA、Fireworks、Together 等第三方推理服务调用。目前论坛里已有 Transformers 新版本开始支持 Inkling 2 的说明,但还没有单独介绍这次开源权重。
出处:
- 收藏支持反对

594B 总参、激活才 17B,MoE 这条路倒是越走越明白了,就是 500GB 显存起步把本地玩家基本挡在门外,还是得走第三方推理。