量子位· 一水·· 3 小时前精选AI 评分84
港科大、CMU 与岩山科技开源新模型 EdgeRock-4B:KV Cache 减少 99%,单卡吞吐飙 6 倍
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校开源了 EdgeRock-4B 模型。该模型引入记忆岩锚(RMA)机制,在 256K 上下文下将 KV Cache 占用固定在 72MiB,相比源模型减少 99.1%,单卡同时运行 512 路长推理时的输出吞吐达到 12124 tokens/s,同时推理能力基本保持不变。
推荐理由
该开源模型将 256K 上下文下的 KV Cache 占用固定在 72MiB,在长推理和多路并发场景下显著提升了单卡吞吐。
来源:量子位 · qbitai.com