IT之家·· 2 小时前AI 评分59
字节 Seed 团队发现 DeepSeek 长上下文“抽风”原因,分块 KV 缓存压缩存在相位敏感性
字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
AI 导读
字节 Seed 团队今年 9 月底在 arXiv 提交论文,指出分块 KV 缓存压缩引入的相位敏感性是 DeepSeek 长上下文性能漂移的原因。研究评估了 DeepSeek-V4-Flash、DeepSeek-V4-Pro 与后训练版 DeepSeek-V4.1-Flash,发现同一信息在不同相位下的检索难度系统性不对称,长上下文检索准确度可相差高达 40 个百分点。
来源:IT之家 · ithome.com