NVIDIA 称全栈协同设计提升内存利用率
先了解这件事
NVIDIA 发布技术博客称，其通过 GPU、CPU、网络、存储与软件的全栈协同设计，提升 AI 推理中每字节内存的有效利用率。具体手段包括：用 NVFP4 低精度格式压缩模型权重和 KV 缓存，在 NVL72 系统中将模型权重分散至最多 72 颗 GPU，用 Vera CPU 的 LPDDR 内存缓冲暂停的上下文，并由 Dynamo 推理软件把不活跃上下文迁移至 CMX 上下文存储。 NVIDIA 称，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而单 GPU 的 HBM 容量仅增加约 3%；GB300 NVL72 较 H200 平台在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。上述对比均为 NVIDIA 对自身平台的说法，并非已获独立验证的效果。
AI 根据报道生成 · 3 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- IT之家英伟达提出全栈协同设计破解 AI 内存瓶颈，HBM 仅增约 3% 时每美元智能体吞吐量最高提升 30 倍
英伟达发布技术解读，提出以“全栈协同设计”缓解 AI 内存瓶颈，通过 NVFP4 低精度格式压缩模型权重和 KV 缓存、在 NVL72 系统中将模型权重分散至最多 72 颗 GPU、用 Vera CPU 的 LPDDR 内存缓冲暂停上下文、由 Dynamo 推理软件把不活跃上下文迁移至 CMX 上下文存储。
- NVIDIA BlogNVIDIA 如何用全栈协同设计解决 AI 内存挑战
NVIDIA 通过全栈协同设计提升每字节内存的有效利用率，从 Blackwell Ultra 到 Vera Rubin 平台，单 GPU 的 HBM 容量仅增约 3%，而 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30 倍。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1811月6日 08:00
- 近 24 小时变化
- -73%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。