跳到正文
热点事件持续更新

字节Seed团队发表论文 揭示DeepSeek长上下文性能波动原因

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

字节 Seed 团队在预印本平台 arXiv 发表论文指出,DeepSeek-V4 等模型在采用分块 KV 缓存压缩时存在“相位敏感性”,会导致长上下文检索准确率在不同位置相差高达 40 个百分点。 研究表明,将连续 Token 窗口压缩虽然能节省内存与计算成本,但由于 Token 相位存在差异,相同信息在不同阶段的检索难度会出现周期性波动。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. IT之家
    字节 Seed 团队揭示 DeepSeek 长上下文性能波动原因:分块 KV 缓存压缩存在相位敏感性

    字节 Seed 团队发表论文指出,DeepSeek 等模型在采用分块 KV 缓存压缩时存在“相位敏感性”,会导致长上下文检索准确率在不同位置相差高达 40 个百分点。该研究评估了 DeepSeek-V4 系列模型,发现将连续 Token 窗口压缩虽能节省内存与计算成本,但由于 Token 相位差异,相同信息在不同阶段的检索难度会出现周期性波动。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。