上海人工智能实验室近日公布了大模型开源开放评测体系“司南”对7个AI大模型进行高考全科目测试的结果。测试结果显示，书生·浦语2.0系列文曲星大模型（浦语文曲星）、阿里通义千问大模型Qwen2-72B以及GPT-4o再次包揽文、理科前三甲。值得注意的是，这三个AI“考生”的文、理科成绩分别超过了“一本”和“二本”线（以今年高考人数最多的河南省的分数线为参考）。
从官方公布的测试结果来看，前三名“考生”达到了“一本”水平，而其他大部分模型则未能达到“二本”线。其中，阿里通义千问大模型Qwen2-72B以546分的成绩获得AI高考“文科状元”，浦语文曲星则以468.5分成为理科第一名。 这表明，在语言理解和表达方面，大模型已经具备了相当的水平，但在逻辑推理和数学计算能力上仍然存在不足。
在文科成绩方面，Qwen2-72B、浦语文曲星、GPT-4o的文科成绩均超越“一本线”，展现了大模型在语文、历史、地理、思想政治等科目上深厚的知识储备和理解能力。但在理科成绩方面，AI“考生”整体表现弱于文科，体现了大模型在数理推理能力上普遍存在短板。这种差异可能与大模型的训练数据构成相关。通常，大模型在训练时会接触到大量的文本数据，但这并不一定包含足够的数学、物理、化学等理科方面的知识内容，导致其在理科方面的推理能力不足。
据悉，本次评测具有以下几大特点：
1. 全卷考试：进行全卷评分，而不只针对单一题型，且包括带图的高考题。这能够更全面地考察大模型的知识储备和理解能力。
2. 考前开源：评测覆盖的开源模型均为今年高考前开源的模型，排除泄题的可能性。这确保了评测结果的公平性和公正性。
3. 老师打分：邀请有高考阅卷经验的老师打分，确保评分和高考尽量一致。这保证了评分标准的专业性和权威性。
4. 完全公开：生成答案的代码、模型答卷、评分结果完全开源。这有利于其他研究人员进行复现和验证，促进大模型技术的发展。
在此次测试中，阅卷老师们一致认为，大模型与真人考生依然存在差距。具体而言，在作答主观题时，大模型往往无法完整理解题干，不明白代词指向，结果导致答非所问。解答数学题时，解题过程机械且逻辑性差，对于几何题，常出现与空间逻辑相违背的推断。对物理、化学实验理解肤浅，无法准确识别并运用实验器材。 这表明大模型在理解和推理能力方面仍然需要提升。
此外，大模型还会伪造虚构内容，编造看似合理但实际不存在的诗句，或在存在明显计算错误的情况下之后不反思，“硬着头皮蒙”一个答案，均给阅卷老师带来了困扰。 这也反映了大模型在逻辑推理和信息真实性识别上的不足。
通过盘点AI“考生”的答卷，司南的模型评测团队深入分析了当前大模型普遍存在的问题：反思能力弱、“一本正经”虚构内容、缺乏空间想象能力以及对物理、化学实验理解肤浅。 这些问题需要通过进一步的研究和改进来解决，例如引入更丰富的训练数据，提升模型的逻辑推理能力，改进学习算法等。
