158 6721 8818

0574-27676908

新闻动态

—

新闻动态

—

字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移

作者:宁波海曙光信电子科技有限公司 浏览: 发表时间:2026-10-09 15:41:53

字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移

作者:IT之家 

 10 月 9 日消息,字节 Seed 团队今年 9 月底在预印本平台 arXiv 提交了一篇论文,谈到分块 KV 缓存压缩带来的相位敏感性,直指 DeepSeek“抽风”原因。

该研究评估了基础版和后训练版的 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro,以及后训练后的 DeepSeek-V4.1-Flash。

模型通过分块 KV 缓存压缩以固定步幅将连续标记的窗口压缩为更少的缓存条目,能够减少长上下文推理的内存和注意力成本。

然而,这种压缩还引入了一个新的位置坐标:Token 的相位,或其相对于压缩窗口边界的位置。

该团队发现使用这种压缩的模型中存在系统性不对称性:相同的信息在一个阶段很容易检索,但在另一个阶段很难检索。团队将这种检索性能的周期性变化称为相位敏感性(phase sensitivity)。

在采用此类压缩的大型开放权重模型中,长上下文检索准确度在各个阶段之间可能相差高达 40 个百分点,从而揭示了平均基准分数可能掩盖的周期性弱点。


字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
字节 Seed 团队发布论文,找到 DeepSeek 模型 “抽风” 背后原因。模型采用分块 KV 缓存压缩处理长上下文,该机制会产生相位敏感性问题,相同信息在不同阶段检索难度差异巨大。长上下文检索准确度波动最高可达 40 个百分点,平均基准分数容易掩盖这项周期性缺陷。
长按图片保存/分享
0

产品中心

产品中心

快速导航

联系我们

手机:158 6721 8818(微信)

电话:0574-27676908

地址:海曙区东渡路29号8楼D01

版权所有© 2025 宁波海曙光信电子科技有限公司   浙ICP备14008261号 

版权所有© 2025 宁波海曙光信电子科技有限公司   浙ICP备14008261号 

客服中心
手机号
158 6721 8818(微信)
服务热线
0574-27676908
上班时间
周一到周五
E-mail地址
9090683@qq.com
添加微信好友,详细了解产品
使用企业微信
“扫一扫”加入群聊
复制成功!
添加微信好友,详细了解产品
我知道了