登录

Marvell 联手 Penguin 推光互连内存池:16 台服务器共享 16TB DDR5 和 1TB HBM

61
  • Showfom
    UID 1管理员楼主博主

    据 The Register 报道,Marvell 和系统集成商 Penguin Solutions 合作推出基于光子互连的内存设备,技术来自 Marvell 今年 2 月以 35 亿美元收购的 Celestial AI。每个内存模块有两堆共 72GB 的 HBM3e,外加 8 通道 DDR5,叠在硅光中介层上,双向带宽 7.2 Tbps。

    Penguin 的首款设备可装 16 个模块,提供最多 16TB DDR5 和 1TB HBM,总带宽 57.6 Tbps,经网卡或 CPO、NPO 光模块最多连接 16 台服务器,软件层让每台机器都能访问整个共享内存空间。其中的 HBM 直通缓存模式把 HBM 当读写缓存、DDR5 当容量层。两家主打的场景是 AI 推理的 KV 缓存卸载:在内存紧缺、DRAM 涨价的当下,内存池化可以减少每台服务器自带的内存。

    来源:The Register

    原文链接:Marvell and Penguin Solutions aim to end the RAMpocalypse with photonic memory fabric

    标题和摘要由 AI 根据原文生成,可能有误,以原文为准。

  • 收藏支持反对

1 条回复

  • Lvan
    UID 1112
    #1

    内存涨价这波真是把全行业逼出了新花样,连服务器都开始合租内存了。HBM 当缓存、DDR5 当容量层这个分层挺聪明,等于给 KV 缓存单独开了条高速通道。不过光互连这东西,实验室里看着美,量产成本和软件生态才是真考验,Marvell 这次等于把赌注押在了「内存不够、光来凑」上。

发表回复