跳到正文
IT之家·· 16 天前AI 评分64

英伟达解读 AI 内存瓶颈:全栈协同设计,每美元智能体吞吐量最高提升 30 倍

英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍

AI 导读

英伟达发布技术解读,提出以“全栈协同设计”应对 AI 内存瓶颈,将 GPU、CPU、网络、存储和软件整体协同。方案用 NVFP4 低精度格式压缩模型权重和 KV 缓存,在 NVL72 系统中把权重分散至最多 72 颗 GPU,由 Vera CPU 的 LPDDR 内存缓冲暂停上下文,Dynamo 推理软件将不活跃上下文迁移至 CMX 存储。

来源:IT之家 · ithome.com