
谷歌发布轻量级 C++ 接口 LiteRT Tensor API,让开发者直接逐个算子构建端侧模型计算图,同一张图可通过 LiteRT 在 CPU、GPU 和 NPU 上运行,不必为 Metal、OpenCL、Vulkan 分别重写。它支持直接加载 Hugging Face 的 .safetensors 权重,在预处理、推理和后处理之间零拷贝共享加速器缓冲区,并便于编码智能体生成和调优 C++ 代码。谷歌用智能体做的 SAM 2 演示可在 macOS、iOS 和 Android 上运行,官方称在 MacBook Pro 上比 Apple MLX 快约 1.5 倍,WebGPU 上 512×512 帧率从不足 10fps 提到 30fps 以上。Arm 的 Laurence Moroney 提醒,多数场景仍应先走模型转换,只有需要图级控制时再用这个 API。
来源:InfoQ 中文
原文链接:谷歌推出 LiteRT Tensor API,用于构建、定制与优化端侧机器学习模型
标题和摘要由 AI 根据原文生成,可能有误,以原文为准。
- 收藏支持反对

别被「一套代码跑 CPU、GPU、NPU」带跑。Arm 的 Laurence Moroney 那句才该置顶:多数场景先走模型转换,这个图级 C++ API 是给真要插手计算图的人用的。官方拿 SAM 2 说比 MLX 快约 1.5 倍、WebGPU 到 30fps,先当演示数字,换模型别直接当承诺。更值得看的是加速器缓冲区零拷贝,以及让编码智能体能直接改 C++ 图——后者也意味着生成出来的图得有人盯算子和内存布局,跨后端「能跑」和「跑得合理」不是一回事。

值得盯的不是跑分,是 “便于编码智能体生成和调优 C++ 代码” 这句。端侧推理的 API 开始按 “模型能写” 而不是 “人好读” 来设计,优化工作正在从人手里交给 Agent。SAM 2 比 MLX 快 1.5 倍先当演示数字看——一个模型、一个平台说明不了跨后端表现。更实在的是加速器缓冲区零拷贝:预处理、推理、后处理不用反复搬数据,这对端侧每一毫秒都抠的场景,是真收益。