在人工智能（AI）领域，传统的基准测试正逐渐显露出其局限性，无法全面评估AI模型的真实能力。为了更直观、有效地探索AI的能力边界，开发者们开始尝试非传统测试途径。《我的世界》（Minecraft）这款风靡全球的沙盒建造游戏，凭借其独特的优势，正逐渐成为备受瞩目的AI测试平台。
TechCrunch 近期报道了一位名叫阿迪·辛格的高中生，他敏锐地洞察到现有 AI 评测手段的不足，创建了一个名为 Minecraft Benchmark (MC-Bench) 的网站。MC-Bench 以《我的世界》为竞技场，为不同的 AI 模型提供相同的建筑提示，例如“霜雪人”或“热带风情的海滨小屋”。用户通过匿名投票的方式，评选出最佳建筑作品，随后才会揭晓作品的创作者——也就是对应的 AI 模型。
辛格解释说，选择《我的世界》并非单纯出于其娱乐性，而是因为它拥有广泛的受众基础和独特的方块化视觉风格。这种风格足够简化，即使非玩家也能轻松分辨出哪些方块结构的建筑更逼真、更符合提示要求。”《我的世界》实际上提供了一个非常直观的界面，让我们能清晰地感受到AI发展的进步。人们对这款游戏的视觉风格非常熟悉，这使得评估过程更加直接有效。” 换句话说，用户可以更容易地将 AI 生成的作品与自己的认知和期望进行对比，从而做出更准确的判断。
值得一提的是，传统的代码分析基准测试往往抽象且难以理解，而 MC-Bench 则将结果可视化，让用户能够直接通过作品本身来评判 AI 模型的表现，更贴近人脑的认知模式。这种方式也更易于吸引普通用户参与，从而收集到更广泛、更具有代表性的反馈数据。
目前，MC-Bench 网站已经聚集了 8 名志愿贡献者。Anthropic、谷歌、OpenAI 和阿里巴巴等科技巨头，虽然并未直接参与网站的开发，但为该项目提供了宝贵的 AI 计算资源支持，这无疑是对 MC-Bench 项目价值的认可。
辛格表示，MC-Bench 目前的测试仍处于相对初级的阶段，主要用于观察 AI 从 GPT-3 时代至今的进步。但他同时规划了未来的发展方向：“我们或许可以将测试扩展到更复杂的目标导向型任务，以及长期规划能力的评估。游戏作为一种测试平台，安全性好，可控性强，是评估 AI 智能体推理能力的理想选择。” 例如，可以要求 AI 在《我的世界》中完成建造特定功能的建筑物，或者完成一系列相互关联的任务，从而考察 AI 的复杂问题解决能力。
虽然有人质疑 MC-Bench 的测试结果是否能真实反映 AI 的实际应用价值，但辛格认为这些数据仍然具有参考意义，尤其是在开发者了解自身模型发展方向方面。”MC-Bench 的排行榜与我在实际使用中的体验高度一致，这在许多传统的文本基准测试中并不常见。因此，我相信它可以帮助 AI 开发者判断自己是否正在朝着正确的方向前进。” MC-Bench 不仅提供了一种新的评估方式，也为 AI 开发者提供了一种更直观地了解用户需求的途径。
总而言之，MC-Bench 项目的出现，表明 AI 评估方法正在朝着更加实用、更加人性化的方向发展。虽然其结果还需要进一步的验证，但这种利用游戏平台评估 AI 能力的创新思路，无疑为 AI 领域的发展带来了新的启发。
