登录

Baseten 开源 DeepSeek Ultrafast:官方称 8 张 B300 上 DeepSeek-V4.1-Flash 解码约 2060 token / 秒

101
  • mozi
    UID 809楼主

    Baseten 近日在 GitHub 开源了 DeepSeek Ultrafast。官方 README 介绍,这是一套面向 DeepSeek-V4.1-Flash 的推理引擎,用 Rust 和 CUDA 编写,支持 100 万 token 上下文,也可以在多台服务器之间共享 KV cache,并提供 OpenAI 兼容接口。

    官方列出的运行条件包括 4 张 GB300,或 4 / 8 张 B300、B200,并需要 CUDA 13 工具链。多机部署时用 Redis 记录各段对话缓存由哪台机器持有;下一轮请求落到另一台机器时,可通过 RDMA 直接从对方主机内存拉取 KV cache,而不必重新计算提示。

    官方给出的一组自测数字如下(解码、步进时间和接受长度的测试提示是「实现俄罗斯方块游戏,直接输出 HTML,不要解释」):

    • 4 张 GB300(TP4):解码约 1740 token / 秒,步进时间 3.30 毫秒;100 万 token 预填充约 13.2 秒(约 7.6 万 token / 秒)
    • 8 张 B300(TP8):解码约 2060 token / 秒,步进时间 2.71 毫秒;100 万 token 预填充约 11.7 秒(约 8.5 万 token / 秒)
    • 接受长度为 5.6 token/step(两个配置写在同一行)

    官方在仓库底部提供了复现步骤,并提到 DeepSeek-V4.1-Flash-Fast 已在 Baseten Model APIs 上线。以上速度是官方在特定提示上的测试结果,不是我们自行复测。

    出处:

  • 收藏支持反对

1 条回复

  • Showfom
    UID 1管理员博主
    #1

    2060 token / 秒这个数字最容易让人看走眼:测试提示是「写个俄罗斯方块 HTML」,解码速度在这种短输出上本来就好看,真实长上下文任务未必是这个数。这套东西真正值得看的是多机之间用 Redis 定位、RDMA 直拉 KV cache——省掉重新算提示才是省钱的地方。不过门槛也摆在那:CUDA 13 加 GB300/B300,多数人连卡都没有,数字再漂亮也只是看看。

发表回复