Thinking Machines Lab 已在 Hugging Face 发布 Inkling 2 Small 的模型权重,采用 Apache 2.0 许可。这是一个 48 层的稀疏混合专家模型,总参数 5940 亿、每 token 激活 170 亿,支持文本和图像输入,上下文最长 100 万 token。官方推荐原生精度的 NVFP4 版本,至少需要 500GB 显存,例如 2 块 B300 或 4 块 H200;另有需要 800GB 显存的 MXFP8 版本。模型已支持 SGLang、vLLM、Unsloth 等推理框架,也可以通过 Together、Fireworks、Cloudflare 等平台调用 API。宽松许可加上主流框架支持,让企业可以在自有集群上微调和部署这款大模型。

来源:Hugging Face

原文链接:thinkingmachines/Inkling-2-Small

标题和摘要由 AI 根据原文生成,可能有误,以原文为准。