人工智能和数学密不可分。AI 的发展离不开数学的进步，同时 AI 的进步也离不开解决数学问题的能力。
在刚结束不久的国际数学奥林匹克竞赛（IMO）中，谷歌的新一代 Gemini 进阶版模型成功解决了六道超高难度试题中的五道，取得了 35 分（满分 42 分），达到了今年 IMO 的金牌水平，成为首个获得奥赛组委会官方认定为金牌的 AI 系统。
加州大学洛杉矶分校数学系终身教授、菲尔兹奖获得者，被誉为「数学莫扎特」的华人数学家陶哲轩，参加了此次 IMO 竞赛的颁奖典礼，并对在 IMO 取得成绩的 AI 模型表达了关注。然而，他也表达了一定程度的担忧，希望未来能够在更加受控的环境下对 AI 模型进行科学比较和评估。
陶教授认为：一些在标准考试条件下可能连铜牌都难以稳定获得的学生或队伍，在某些经过修改的赛制下，反而可能稳定地达到金牌水平。因此，在没有采用统一、非参赛队自选的控制性测试方法的前提下，对于不同 AI 模型在类似 IMO 等竞赛中的表现，应当谨慎看待，避免作出过于简单化的「对等」比较。
陶教授对人工智能的发展和评估的关心是一贯的。就在最近，他在 mathstodon 上发表了自己的观点，讨论了人工智能的发展现状和未来的评估策略。
人工智能技术现已迅速接近从定性到定量成果的转型阶段。随着一项技术成熟，关注点往往从定性的成就转移，例如谁第一个实现了某个目标，转向更定量的衡量标准，例如完成单个任务需要多少资源和专业知识，以及会产生多少环境影响和伤害风险。这是一个必要的转变，以便将技术从概念验证扩展到大规模应用。
举两个例子：1903 年，莱特兄弟首次实现了动力、可控、比空气重的飞行，1927 年林德伯格首次独自不间断跨大西洋飞行。但真正让跨大西洋航空旅行变得低成本、安全且对发达国家中产阶级来说可以定期负担得起的，并不是这些初期的壮举，而是从上世纪 50 年代开始，持续数十年的喷气式航空技术的发展，以及与之配套的基础设施和后勤系统的完善。这些工作虽枯燥，却至关重要。
相比之下，阿波罗计划虽在 1969 年成功实现了载人登月的里程碑，但代价极为高昂。与航空领域的发展不同，太空探索在成本降低方面并未取得显著进展。
如今，几乎任何一个具体的概念验证目标，只要投入足够的资源和专业团队，都有可能在未来几年内通过类似「登月计划」式的 AI 项目实现。但真正要将这些技术大规模部署到现实世界中，关键问题已经从「能否做到」转向了「如何以更低成本、更高安全性和更强可扩展性实现」。简而言之，人工智能需要「降本增效」，这与评估 AI 模型的方式密不可分。
在宣布某一目标完成时，有必要同步报告其所消耗的资源成本，并报告失败案例，以更准确地评估成功率——这是衡量预期成本的关键部分。例如，如果某个先进的 AI 工具每次尝试解决一道奥赛级别的问题需要耗费约 1000 美元的算力资源，但成功率只有 20%，那么平均每成功解决一次问题的实际成本就是 5000 美元。如果只报告那 20% 的成功案例，就会对实际成本形成严重误导。同样，如果这些成功案例是在有高薪专家全程监督、监控，甚至准备随时介入的前提下完成的——即使最终没有触发人工干预，这部分「待命成本」也应计入整个过程的实际成本。
尽管未来的扩展规律（scaling laws）可能会有所变化，但可以预见的是，最耗费资源的 AI 系统依然会比廉价模型更强大。因此，在实际应用中，「轻量型」与「密集型」AI 工具各有其用武之地。以陶教授最近完成的「等式理论项目（Equational Theories Project）」为例：在总共需要证明的 2200 万条蕴涵关系中，绝大多数是通过非常简单的暴力方法完成的；剩下的很大一部分则由中等强度的自动定理证明器（ATP）解决；再往后，一部分由人类参与者解决，最后少数几个疑难问题，则依赖多个研究人员与 ATP 工具协作攻克。
尽管并未大量使用像大型语言模型这样的现代 AI，但陶教授预计未来类似的大规模项目会呈现类似的发展路径：项目的绝大部分由「廉价」AI 完成，而「昂贵」的高级 AI 则与人类专家协同作战。
展望未来，标准化的基准测试和竞赛将变得越来越重要，特别是那些要求提前披露资源使用和方法细节的评测机制。这对于准确衡量 AI 技术的「量变」进展至关重要，与陶教授在 IMO 竞赛后对 AI 公司自我披露竞赛结果担忧的观点是一脉相承的。
当前依赖自我报告成果的现状，在技术发展的「质变」初期阶段尚且可以接受，但随着 AI 进入广泛落地和实际部署阶段，这种方式必须被更透明、可对比的标准化评估所取代。
陶哲轩教授的观点站在了历史的角度，但同样也有网友回望历史，对人工智能的普及暗含的风险表示担忧。
完整内容请参阅原始推文：https://mathstodon.xyz/@tao/114910028356641733
