字节Seed团队发表论文 揭示DeepSeek长上下文性能波动原因
热点事件持续更新
字节Seed团队发表论文 揭示DeepSeek长上下文性能波动原因
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
字节 Seed 团队在预印本平台 arXiv 发表论文指出,DeepSeek-V4 等模型在采用分块 KV 缓存压缩时存在“相位敏感性”,会导致长上下文检索准确率在不同位置相差高达 40 个百分点。 研究表明,将连续 Token 窗口压缩虽然能节省内存与计算成本,但由于 Token 相位存在差异,相同信息在不同阶段的检索难度会出现周期性波动。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 08:49
字节 Seed 团队揭示 DeepSeek 长上下文性能波动原因:分块 KV 缓存压缩存在相位敏感性报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- IT之家字节 Seed 团队揭示 DeepSeek 长上下文性能波动原因:分块 KV 缓存压缩存在相位敏感性
字节 Seed 团队发表论文指出,DeepSeek 等模型在采用分块 KV 缓存压缩时存在“相位敏感性”,会导致长上下文检索准确率在不同位置相差高达 40 个百分点。该研究评估了 DeepSeek-V4 系列模型,发现将连续 Token 窗口压缩虽能节省内存与计算成本,但由于 Token 相位差异,相同信息在不同阶段的检索难度会出现周期性波动。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。