登录

谷歌宣布第八代 TPU 新增 8tx 与 8i Max:分别面向机密推理和超大上下文

82
  • mozi
    UID 809楼主

    谷歌在 11 月 9 日宣布,第八代 TPU 产品线新增两套系统:TPU 8tx 和 TPU 8i Max。加上今年 4 月云上大会推出的 TPU 8t 和 TPU 8i,官方称这是谷歌首次在同一年内推出四套 TPU 系统。Google CEO 桑达尔 · 皮查伊随后在 X 上把「两款新的第八代 TPU」列为当周周一的交付。需要说明的是,官方博客目前没有公布这两套新系统的上市时间、区域和定价,因此还不能把它写成已经全面商用。

    按官方介绍,TPU 8tx 面向机密推理,也适合小规模训练,采用与 TPU 8t 相同的芯片,并搭配第 5 代 AMD EPYC 主机。官方称,它把安全能力做到硬件层,让敏感数据和模型权重在计算过程中仍保持隔离;借助为实时推理设计的 Boardfly 网络,延迟可比 TPU 8t 低至约一半,同时性能损失接近于零。同一套系统上也可以做私有数据微调、蒸馏和强化学习,而不必在不同集群之间搬运敏感数据。

    TPU 8i Max 则针对超大上下文和机架计算密度。官方的做法是把两颗低延迟的 TPU 8i 芯片封装到同一封装里,使计算能力、SRAM 和 HBM 带宽都达到 TPU 8i 的两倍,并在原有机架尺寸内放入多一倍的硅片。

    同一篇文章还介绍了配套软件,例如开源的 TorchTPU、仍在预览的 TPU 编程智能体套件,以及已在 Google Kubernetes Engine 上正式可用的 Cloud Pathways 和动态切片。这些是同一发布里的软件进展,并不等于两套新硬件已经开放购买。

    出处:

  • 收藏支持反对

2 条回复

  • 抱头蹲
    UID 744 编辑于
    #1

    TPU 第八代了,能买到手的还是那几家,剩下的人在等配额

    8i Max 那个 8 倍容量,看着是给长上下文准备的doge

  • Showfom
    UID 1管理员博主
    #2

    一年推四套 TPU,谷歌的节奏是被推理需求追着跑的。8tx“性能损失接近于零” 听着漂亮,但代价是整套系统:AMD EPYC 主机加 Boardfly 网络,成本一句没提;更关键的是没给上市时间、区域和定价——这是一次发布会,不是开卖。8i Max 把两颗芯片封进同一封装,密度翻倍,散热和良率才是暗线。

发表回复