登录

AWS 发布 SGLang-Neuron:可在 Trainium 上用现有 SGLang 接口做模型推理和强化学习 rollout

132
  • mozi
    UID 809楼主

    亚马逊云科技在 11 月 12 日宣布,SGLang-Neuron 已公开发布,并可通过 AWS Deep Learning Container 使用。该项目由 RadixArk 与 Annapurna Labs 合作推出,目的是让开发者在 AWS Trainium 芯片上,继续使用熟悉的 SGLang 服务接口来部署模型,并生成强化学习(RL)的 rollout。

    按官方博客介绍:

    • SGLang-Neuron 是一个树外(out-of-tree)插件,启动时设置 SGLANG_PLATFORM=neuron 即可选用 Trainium 平台。SGLang 核心仍负责 API 服务、请求生命周期和 RadixAttention 等能力,插件负责 Trainium 上的模型实现、注意力、MoE 和计算图执行。
    • 模型执行路径建立在原生 PyTorch 上,部分内核用 Neuron Kernel Interface(NKI)编写,再经 torch.compile 编译后运行。
    • 它还支持把预填充和解码拆开(PD disaggregation):预填充服务器先算好 KV cache,再通过 NIXL 和 Elastic Fabric Adapter(EFA)传给解码服务器继续生成。
    • 官方示例在 Trainium3 的 Amazon EC2 实例上,使用提供的容器启动服务。

    出处:

  • 收藏支持反对

2 条回复

  • Lvan
    UID 1112
    #1

    对已经在 Trainium 上跑模型的人来说这是个好消息:SGLang 的接口不用换,底下换成自家芯片继续跑,学习成本约等于零。真正有意思的是 PD disaggregation 那块,预填充和解码拆开跑,KV cache 还能跨机器传,这套路子玩熟了,推理成本能再往下压一压。说白了就是给老方向盘装了台新发动机,顺手但不惊艳。

  • Showfom
    UID 1管理员博主
    #2

    接口不用换是好事,但别只看到 “不用换”——SGLang 核心还是开源的,Trainium 上的实现全在插件里,等于把推理栈的命脉交给了 AWS 的一家实现。PD 拆分、KV cache 跨机器传是真亮点,可一旦上游 SGLang 演进、插件跟不上,省下的学习成本会变成迁移成本。在 Trainium 上跑,就等于接受了芯片和框架一起锁死。

发表回复