DeepSeek又上新模型了?
是的,前两天服务器崩溃刚刚送完钱,转手就掏出了V4.1 Flash的1017新版本。这个时间节点很难不让人联想,所谓“崩溃”也许正是新版本上线前的例行阵痛。
这下实锤了,什么崩溃,分明是上新前想给大伙儿送点福利罢了(当然,这只是调侃)。
不过话说回来,这次的Flash版本我们还在测试中。相比单纯评测新版本,更值得关注的是:为什么更新的又是Flash模型?V4 Pro又到哪里去了?

毕竟那可是险些让创始人梁文锋“翻车”,甚至经历了下架又上架、秽土转生般过程的神奇模型。
为什么一款被寄予厚望的旗舰模型会落到这般田地?就没人解释解释,V4 Pro到底哪儿出毛病了?
诶,有的兄弟有的,这不,隔壁字节的Seed团队就挖出来了一些线索,矛头直指模型的上下文压缩环节。
读完Seed团队的分析,事情变得清晰起来:V4 Pro这车翻得不冤,但问题也并非某些评论所说的“最基本的记忆力都做不好”那么简单。
具体来说,V4 Pro的问题并非单纯的记忆力下降,而是一种有规律的选择性“失忆”——它对输入上下文的排列方式极其敏感。
论文里,研究人员拿DeepSeek自己的推理代码做了个实验:让V4 Flash补全一段代码。
结果发现,只要在前面的注释里加几个无关紧要的等号、让上下文稍微变长,模型就会在正确答案和错误答案之间反复横跳。
而且这种现象并非随机,每隔4个Token就会重复一轮,呈现出明显的周期性。
按论文里的专业说法,这叫相位敏感性。
翻译成大白话就是:V4 Pro这条“大鲸鱼”非常挑食,你给它的上下文,它会挑着吃,不合口味的直接略过。
如果大伙儿经常用 AI,应该能感受到,模型的注意力一般集中在头和尾,中间信息经常丢失。
这回的发现则更加细致:不只是提示词整体,在每个小部分内部,同样的信息,只要调整位置,模型可能就不乐意看了。
这不禁让人想问:是谁把模型搞得这么“矫情”?
研究者们继续挖,发现原来跟 V4 Pro 的压缩策略有莫大关系。
为了在长上下文场景下维持低成本和高吞吐,DeepSeek给V4系列模型上了一套CSA+HCA的组合压缩方案。
问题大概率就出在这儿:CSA和HCA都是分块压缩,逻辑相当简单粗暴。
比如CSA,就是每8个Token压成一个块,每隔4个Token压一次,块与块之间有重合部分。
你看,这与上面的实验正好对上——规律也是每4个Token一轮。
为了进一步验证,Seed团队又设计了一个加强版的“插针”实验:把16000对数据塞进128K的上下文中,要求模型从中找出指定答案。
这回测了4个V4模型,分别是V4 Pro没有后训练的Base版和0813的正式版,以及V4 Flash的Base版和正式版。
结果与预期大致吻合。尤其是Base基础版模型,Pro的准确率波动范围达34.7%,Flash更是高达40.23%,堪称“大起大落”。
更令人意外的是,经过后训练的正式版中,Flash的稳定性反而优于Pro——这或许解释了Pro为何会遭遇大量差评。
而且即使正式版修补了一些不稳定的毛病,但还是存在规律的波动,没法根除。
到这儿,其实已经能看出:只要采用CSA+HCA的组合方案,或多或少都会出现类似问题。
不过,找到病灶并不等于找到病因。影响模型性能的因素实在太多,架构设计、训练策略、数据分布等都可能干扰最终表现。
所以研究员们选择控制变量,剔除干扰因素,继续做实验。
他们拿隔壁千问 Qwen3-0.6B 的小模型当新底座,用不同的压缩策略,从头训练了一批模型。
这一回,真相算是大白了。
不用这种分块策略的,基本稳成了一条线,但只要加入分块算法,周期性就会凸显出来。
而且周期会随着压缩步长同步变化——步长是几个Token,周期就是几个Token,两者完全绑定。
那到底为啥分个块儿就能导致间歇性失忆呢?
从这些训出来的小模型中,研究者们也找到了一些解释。
比如按咱正常人的理解,几个 Token 压成块儿,那自然应该平分权重,但模型却不是这么想的。
模型在训练过程中会形成一种固定的“口味”,每个层偏好不同位置的信息,可谓萝卜青菜,各有所爱。
比如其中的一个模型,它内部的第 14 层喜欢前面,第 10 层偏爱中间,第 9 层则中意后面。
这样一来,无论上下文中的信息是否有用,只要没有落在模型“喜欢”的位置上,就可能被直接忽略。
到这儿,就跟当初折腾 DeepSeek Harness 的记忆有点对上号了。
因为V4 Pro时而超神时而掉线,社区开发者想出了不少偏方来激发它的正常实力。
当时流行的操作是开极简模式,或者开头只给它开放俩工具,等它渐入佳境,再把完整工具放出来。
现在看,跟它的记忆缺陷可能就有很大关系,叠加上过拟合之类的潜在因素,那可不就越用越抽象了。。。
那问题来了,DeepSeek 为啥非得走这条风险奇高的路子呢?
答案倒也很直白:眼下各家都在搞组合压缩,而DeepSeek一直是其中押注最激进的玩家之一。
前段时间风头正盛的 Kimi-K3,用的是 KDA + Gated MLA;GLM-5.3-Flash 则是 KDA + DSA + MLA;千问的 Next 架构又换成了 QSA + Gated DeltaNet。
说白了,上下文压缩并没有放之四海而皆准的最优解,各家都在摸着石头过河,眼下属于“百家争鸣”阶段。
但有意思的是,如果顺着各家策略往回追溯,会发现这片技术江山,有不少是DeepSeek这条“鲸鱼”一点点开拓出来的。
MLA 是 DeepSeek V2 搞出来的,DSA 是 V3.2 推出的,哪怕是 QSA,也在论文中明确表述了,就是按着 DSA 的思路改进的。
这些压缩策略细节各不相同,但原理和思路有很多相通之处,主要分三条路线:建立目录索引、保存状态变更,以及压缩记忆本身,也就是KV值。
明眼人都看得出,第三条路最直接、效率也最高,但风险同样最大。
DeepSeek不可能不知道这条路难走,但它还是像以往那样蒙头往前冲了一把,只不过这次翻了个大的。
后来的V4.1 Flash在“救火”时,并没有放弃这条路,而是拿出了全新的CSA2,搭配跨层KV复用与FP4 KV的组合压缩方案。
虽然实验中还是带点儿周期波动,但比V4 Pro小了太多。
而且昨天又拿出了V4.1-Flash-1017版本,通过后训练优化重新稳住了性价比优势,算是挽回了一波口碑。
这恰恰体现了开源的意义:这个“坑”之所以能被挖出来,正是因为DeepSeek公开了模型权重和技术方案。
别人不光能测它到底好不好用,还能拆开看哪里出了问题,然后拿别的开源模型做实验,慢慢找到背后的规律。
若是换作闭源模型,就算表现同样时好时坏,用户多半只能在社区里交流“玄学提示词”,吐槽模型是不是偷偷降智了。
至于问题究竟出在哪儿,就不是大伙儿能操心的了。
所以,V4 Pro这波翻车并非没有价值。
因为这类经验并不只对DeepSeek自己有用,这么一通摸排下来,如何更高效地做上下文压缩,业界才能更有眉目。
毕竟,别看现在的模型动辄百万级上下文,其实其中各有水分。
真要把长上下文能力落到实处,让模型“吃得进去”还能“好好吐出来”,估计还得经历一段时间的摸爬滚打。

而迭代技术的成本总是要有人支付的。越激进,就越容易翻车,代价也就越昂贵。
不过,要是人人都怕翻车,又哪来的技术迭代呢?
这么一想,梁文锋这次虽然一度被推上风口浪尖,但团队蹚出的这个“坑”,对整个行业来说倒也不算白费。












