IT之家·· 2 小时前AI 评分64
英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
AI 导读
英伟达发布技术解读,指出通过全栈协同设计方案,Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍,而每 GPU 的 HBM 容量仅增加约 3%。该方案通过 NVFP4 低精度格式、Vera CPU 大容量 LPDDR 内存、Dynamo 推理软件等技术,缓解 GPU 显存压力并突破内存墙。
来源:IT之家 · ithome.com