OpenAI 宣布 SWE-bench Verified 停用：编程评测标准迈向新纪元！

近日，OpenAI 宣布 SWE-bench Verified 编程评测榜单将正式退役。这一基准测试曾是整个 AI 编程模型领域的“北极星”，无数头部公司与开源项目在这张榜单上角逐排名。然而，随着技术的快速发展，这一榜单逐渐显现出局限性，其退役也标志着新的评测时代即将开启。

SWE-bench Verified 的历史与局限性

SWE-bench Verified 是业内为 AI 编程模型设立的代码评测基准，曾经广泛应用于 OpenAI、Anthropic 和 Google 等领先公司的编程模型对比中。然而，随着越来越多 AI 开发者对数据集的熟悉，这一榜单暴露出多个问题：

• 数据污染问题：大部分模型已经能“记住” SWE-bench 数据，并可以通过简单关联直接完成评测，失去了真实考察编程能力的意义。
• 题目设计缺陷：OpenAI 表示，榜单中至少 60% 的未解决问题在本质上无法获得准确答案，而部分模型却能“通过作弊绕过测试机制”。
• 任务范围受限：Verified 评测的任务规模普遍较小，90% 的题目仅需资深工程师几小时内就能完成，难以体现复杂场景的能力差异。

正因如此，SWE-bench Verified 逐渐无法满足前沿模型对高标准评测的需求。这也成为 OpenAI 宣布停用它的关键原因之一。

新标准：SWE-bench Pro 的核心优势

面对 Verified 的局限，OpenAI 推出了新版评测标准 SWE-bench Pro。相比前者，Pro 在多个方面实现了全面升级：

• 题目范围更广：涵盖更多编程语言、仓库和复杂问题，提升对模型的考核严谨性。
• 评测时间延长：任务周期从数十分钟提升到数小时甚至更久，降低“刷题”和数据泄露的可能性。
• 低污染性：作为新榜单，Pro 尚未大规模受到模型训练数据的影响，能够更准确地展示实际能力差异。

SWE-bench Pro 的推出不仅是一次技术革新，也为未来 AI 能力评测提供了全新思路。

AI 评测的未来：真实世界能力为关键

OpenAI 表示，无论 Verified 或 SWE-bench Pro，这类榜单最终都面临扩展性和长期有效性的问题。“最终排行榜会被追平、被熟悉，甚至被学会。”因此，OpenAI 希望未来的评测方向能更贴近真实应用层次。

未来的核心评测指标或将包括：

• AI 是如何替代或增强人类工作的：衡量代码生成模型对开发效率的实际影响。
• AI 的溯源性和抗风险能力：评估模型在生产环境中对错误排查和问题解决的能力。
• 可信赖性：测试模型在生产环境中是否足够准确，以确保结果的稳定性。

这一转变意味着，AI 在编程领域的定位将更多地从“得分工具”转变为“生产伙伴”，其价值体现在解决实际问题上的能力提升。

行业前景：从比排名到比应用

SWE-bench Verified 的终结并非终点，而是 AI 编程评测的全新起点。这一事件或将推动行业逐渐从目标单一的榜单竞争，转向评估在 AI技术实际应用中的表现。

就像网友所评论的那样：“排行榜的噱头已过时，更关键的是评测能否真实反映 AI 对行业的贡献。”在全球 AI 编程发展如火如荼的今天，OpenAI 此次的调整无疑为同行提供了深刻启示。

未来的焦点将不再是单纯的排名，而是 AI 技术如何更有效地服务开发者和实际应用场景。这种理念上的转变，或将引领整个行业迈向一个更务实、高效的新时代。