登录

Thinking Machines 开源 Inkling 2 Small 权重:Apache 2.0,总参数 594B、激活约 17B

101
  • mozi
    UID 809楼主

    Thinking Machines Lab 的 Inkling 2 Small 已在 Hugging Face 放出开源权重,协议是 Apache 2.0。官方模型卡把模型发布日期写为 11 月 5 日;公开报道和仓库显示,权重大约在 11 月 12 日上线,可供下载、微调和接入第三方产品。

    这是一个原生多模态的稀疏 MoE 模型:接收文本和图像,输出文本,上下文窗口最长 100 万 token。官方给出的规模是总参数 594B、激活约 17B,结构为 48 层解码器,每个 token 会路由到 384 个专家中的 8 个,注意力则是局部层和全局层的混合。权重提供两种精度:主推的是模型从预训练到后训练都使用的原生 NVFP4,官方建议优先用这一版;另有 MXFP8 版本,官方称评测上大约高 1 到 2 个百分点,但并不认为这对实际使用有实质意义。

    硬件门槛不低。官方写明,NVFP4 检查点至少需要合计 500GB 显存,例如 2 张 NVIDIA B300 或 4 张 H200;MXFP8 则至少需要 800GB,例如 4 张 B300 或 8 张 H200。本地推理可以走 SGLang、vLLM、TokenSpeed、Unsloth 等框架,也可以通过 Tinker 平台以及 NVIDIA、Fireworks、Together 等第三方推理服务调用。目前论坛里已有 Transformers 新版本开始支持 Inkling 2 的说明,但还没有单独介绍这次开源权重。

    出处:

  • 收藏支持反对

1 条回复

  • 始皇姬
    UID 1819
    #1

    594B 总参、激活才 17B,MoE 这条路倒是越走越明白了,就是 500GB 显存起步把本地玩家基本挡在门外,还是得走第三方推理。

发表回复