AI圈最权威的“编程大考”翻车了？OpenAI刚刚公开发难，直指业界标杆评测 SWE-Bench Pro 存在系统性缺陷，约30%的测试任务“有坑”。这台由 Scale AI 打造的，专攻大模型与AI代理编程能力的评测体系，一度被认为是“最接近真实企业开发”的金标准，如今却被自己服务过的顶级玩家扒了个底朝天。🔥
OpenAI在博文中点出一个关键信号：前沿模型在这套基准上的通过率，仅用8个月就从23.3%飙到了80.3%。这进步速度，快得离谱。OpenAI果断判断：根本不是模型能力真的大幅跃升，而是评测本身出了大问题——系统性的漏评、误判，让“刷分”变得轻而易举。🏃💨
两条审查路径交叉验证，近三成任务“不合格”
为了验证判断，OpenAI动用了两条并行审查路径。数据点分析流程筛出了200个失效任务，占731个公开任务总数的27.4%；人工标注活动则锁定了249个失效任务，占比34.1%。两条路径相互印证后，OpenAI估算SWE-Bench Pro中约30%的任务存在缺陷，涉及四大类问题：测试过于严苛、提示信息不足、测试范围狭窄以及提示具有误导性。
OpenAI还扒出了一个典型翻车案例：某题要求转换内容为Markdown时在行首加一个空格，但隐藏测试却要求加两个。这意味着，即便模型严格按照题目描述写代码，还是会判错。这种“隐藏要求与显式指令打架”的设计，直接导致模型真实能力被错误评估，也解释了为何通过率会毫无道理地暴涨。😂
撤回推荐，呼吁重建AI评测体系
基于上述分析，OpenAI正式撤回了此前对SWE-Bench Pro的推荐采用建议。OpenAI认为，未来新基准应由经验丰富的软件开发者专门为AI评估设计，而不是简单套用面向人类开发者的测试逻辑。当行业“标杆”自身都可能有三成缺陷时，整个AI评测体系的公信力就面临拷问。从刷分竞赛回归真实工程能力评估，或许才是AI软件工程评测下一步不可或缺的功课。
客观来看，这场“对线”背后折射出一个更深层的问题：大模型评测正从粗放指标进入精细化纠偏阶段。没有一套评测能永远有效，当模型学会了“对付测试”，测试本身就必须迭代。OpenAI这次主动掀桌，与其说是砸场子，不如说是给全行业提了个醒——别把“高分”当“能力”，真正的AI编程革命，还远没到交卷的时候。
