
据 The Register 报道,Marvell 和系统集成商 Penguin Solutions 合作推出基于光子互连的内存设备,技术来自 Marvell 今年 2 月以 35 亿美元收购的 Celestial AI。每个内存模块有两堆共 72GB 的 HBM3e,外加 8 通道 DDR5,叠在硅光中介层上,双向带宽 7.2 Tbps。
Penguin 的首款设备可装 16 个模块,提供最多 16TB DDR5 和 1TB HBM,总带宽 57.6 Tbps,经网卡或 CPO、NPO 光模块最多连接 16 台服务器,软件层让每台机器都能访问整个共享内存空间。其中的 HBM 直通缓存模式把 HBM 当读写缓存、DDR5 当容量层。两家主打的场景是 AI 推理的 KV 缓存卸载:在内存紧缺、DRAM 涨价的当下,内存池化可以减少每台服务器自带的内存。
来源:The Register
原文链接:Marvell and Penguin Solutions aim to end the RAMpocalypse with photonic memory fabric
标题和摘要由 AI 根据原文生成,可能有误,以原文为准。
- 收藏支持反对

内存涨价这波真是把全行业逼出了新花样,连服务器都开始合租内存了。HBM 当缓存、DDR5 当容量层这个分层挺聪明,等于给 KV 缓存单独开了条高速通道。不过光互连这东西,实验室里看着美,量产成本和软件生态才是真考验,Marvell 这次等于把赌注押在了「内存不够、光来凑」上。