随着生成式AI技术的飞速发展，学术界正面临前所未有的挑战。曾经我们担忧AI的“抄袭”能力，但如今，更深层次的问题逐渐浮现——AI不仅能帮助学生“写”，更能“思考”，这使得传统的评估方式风光不再。纽约大学的一位教授，在“AI/ML产品管理”这门课程中，大胆地进行了一次实验，试图揭示AI时代下，学生知识掌握的真实状况，以及教学方法本身的不足。
在课程的最后，教授Panos Ipeirotis和他的同事Konstantinos Rizakos进行了一系列口头考试。结果令人惊讶，许多在书面作业中表现出色的学生，在口头答辩环节却难以清晰阐述其研究过程中的核心决策。这意味着，他们提交的也许不是源自深入理解的作品，而更多是AI代笔的成果。这一现象，无疑暴露了现有评估体系的脆弱性，以及AI在学习过程中的潜在“减弱”效应。
图片来源说明：本图片由AI生成，图片版权服务提供商为Midjourney
为了突破传统评估的瓶颈，研究团队创新性地引入了“AI口头考试”。他们利用ElevenLabs的语音AI技术，构建了一个能与学生进行互动的AI考官。考试流程设计得相当细致：首先，AI会针对学生最终项目的目标设定、数据选择、模型设计、效果评估以及潜在的失败模式等关键环节进行提问；随后，AI还会随机抽取课程中的一个案例，进一步深挖学生的理解程度。在短短九天内，已有36名学生接受了AI口试。平均每场考试耗时25分钟，而令人瞩目的是，整个流程的总成本竟然仅为15美元，平均每位学生仅需花费42美分。这无疑为大规模、低成本的口头考核提供了全新的可能。
当然，初版AI口试并非完美无瑕。学生们普遍反映AI的语气过于严厉，有时甚至会一次性抛出多个问题，导致沟通不畅。经过几次调整和优化，AI的表现有了显著提升，更加符合实际考试的需求。在评分环节，他们整合了Claude、Gemini和ChatGPT三款大模型。起初，不同模型之间的评分一致性不高，但经过模型间的相互审阅和校准，评分的准确性和可靠性得到了有效增强。这表明，AI在复杂评估任务上的协作潜力同样不容小觑。
尽管大部分学生坦言，AI口头考试带来的压力远超书面考试，但令人欣喜的是，高达70%的学生认为，这种形式的考试确实能够更有效地检验他们的真实掌握水平。教授Ipeirotis强调，AI技术的赋能，使得原本实现难度极高的口头考试变得可行。更重要的是，学生可以通过与AI的互动练习，不断提升自己的知识阐释和沟通能力，从而更好地适应AI深度融合的未来学习与工作环境。
核心洞察：
📊 学生在口头考试中的表现滑坡，揭示了知识掌握与书面产出之间的真实差距。
💰 采用AI口试的成本极低，每生仅需42美分，大幅降低了传统口试的经济门槛。
🤖 学生虽感压力较大，但普遍认可AI口试是更有效的真实能力检验方式。
