近期，苹果公司发布了一篇关于人工智能的论文《思维的错觉》，在科技界引发了广泛关注和激烈讨论。论文的核心观点是：即使是最先进的大型推理模型（LRMs），在面对复杂任务时也可能遭遇根本性的崩溃。然而，Open Philanthropy的研究员Alex Lawsen对此提出了强有力的反驳，认为苹果的结论更可能源于实验设计的缺陷，而非模型推理能力的固有局限。
争议的焦点集中在苹果论文中使用汉诺塔问题作为评估模型能力的案例上。汉诺塔是一个经典的递归算法问题，需要遵循特定规则将一系列大小不同的圆盘从一个柱子移动到另一个柱子。苹果的研究表明，即便是最先进的LRMs，在处理这种复杂算法任务时，也无法给出正确答案。
针对苹果的这一结论，Alex Lawsen撰写了题为《思维错觉的错觉》的反驳文章，直指苹果的研究存在方法论上的问题。他认为，苹果的研究混淆了输出限制和评估标准，从而导致了误导性的结论。 Lawsen在文章中详细列举了以下几点关键问题：
首先，Lawsen指出，苹果忽略了模型输出的Token预算限制。当模型需要处理包含超过8个圆盘的汉诺塔问题时，一些模型（如Anthropic的Claude Opus）已经接近其能够输出的最大Token数量，甚至可能因为节省Token而提前停止输出。这并非模型无法解决问题，而是受到了技术限制。
其次，Lawsen批评苹果的“过河测试”中包含了一些根本无解的谜题。模型因为无法解答这些谜题而被判定为失败，显然是不公平的，无法准确反映模型的真实推理能力。
更为关键的是，Lawsen认为苹果的自动化评估脚本过于死板。该脚本仅将完整的步骤列表视为成功标准，未能区分模型是真正推理失败，还是仅仅因为输出被截断。这种评估方式导致一些模型虽然采用了策略性的输出，但仍然被误判为失败。
为了验证自己的观点，Lawsen重新设计了汉诺塔测试，他要求模型生成递归的Lua函数来打印解法，而不是逐一列出所有步骤。实验结果显示，Claude、Gemini和OpenAI的o3模型均能够正确生成包含15个圆盘问题的算法解法，这远超苹果论文中报告的“零成功”的复杂性界限。Lawsen的实验表明，在去除人为输出限制后，LRMs展现出了处理高复杂任务的推理能力，至少在算法生成层面是可行的。
Lawsen的实验结果表明，问题可能并不在于模型自身的推理能力不足，而在于评估方法可能存在偏差。这一发现为人工智能领域的评估体系带来了新的思考和启示：如何更科学、更准确地评估模型的推理能力，避免因为评估方法的局限性而低估了模型的潜力，是未来研究的重要方向。 目前主流的评估方法往往侧重于输入输出的对比，而忽略了模型内部的运作机制和算法逻辑，这可能会导致对模型能力的片面解读。
为了更直观地展现其论点，Lawsen还在其反驳文章中提供了其他测试结果的对比图，进一步佐证了自己的观点。
这场关于苹果论文的争论不仅揭示了人工智能研究中存在的复杂性和挑战，也再次突出了科学评估方法在人工智能研究中的重要性。 随着人工智能技术的快速发展，如何建立更加完善、更加科学的模型评估体系，将成为未来人工智能研究的关键课题，有助于我们更全面、更准确地认识和理解人工智能的潜力与局限性。
