IT之家·· 3 小时前AI 评分57
字节 Seed 团队揭示 DeepSeek 长上下文性能波动原因:分块 KV 缓存压缩存在相位敏感性
字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
AI 导读
字节 Seed 团队发表论文指出,DeepSeek 等模型在采用分块 KV 缓存压缩时存在“相位敏感性”,会导致长上下文检索准确率在不同位置相差高达 40 个百分点。该研究评估了 DeepSeek-V4 系列模型,发现将连续 Token 窗口压缩虽能节省内存与计算成本,但由于 Token 相位差异,相同信息在不同阶段的检索难度会出现周期性波动。
来源:IT之家 · ithome.com