人工智能领域正经历一场深刻的变革，核心的争论点在于，曾经被视为基石的预训练技术是否还能继续主导未来发展。这一议题在AI行业内引发了广泛且深入的讨论，各种观点激烈碰撞。
预训练技术，在过去几年中，几乎被认为是AI发展的“第一性原理”。无论是在自然语言处理，还是计算机视觉领域，预训练模型都展现出了强大的能力。然而，随着OpenAI前首席科学家Ilya Sutskever 公开表达对预训练范式的质疑，以及强化学习模型DeepSeek R1的异军突起，这种根深蒂固的观念开始经受挑战。预训练模型的地位似乎不再稳固，其未来的发展方向也变得充满不确定性。
预训练技术所面临的挑战，实际上是AI行业内部“共识”与“非共识”不断交织的真实写照。为了更深入地探讨这一关键问题，蚂蚁集团于2025年5月27日举办了“技术开放日”，并组织了一场聚焦于此的圆桌对话。
参与此次对话的嘉宾，都是在AI领域颇有建树的专家，他们分别是Sand.AI创始人曹越、阿里通义千问技术负责人林俊旸，以及香港大学助理教授孔令鹏。他们各自的专业背景和实践经验，为圆桌讨论带来了多元化的视角。
曹越和孔令鹏代表着“非共识”探索的先锋力量。曹越大胆地将语言模型中主流的自回归路线应用于视频模型的训练，成功实现了视频长度的无限扩展，突破了传统方法的限制。孔令鹏则另辟蹊径，通过引入扩散模型，在参数量仅为70亿的情况下，在语言任务上的性能竟然超越了拥有6710亿参数的DeepSeek V3模型，令人惊叹。他们的创新实践，充分展现了AI行业最具创新精神的一面：勇于质疑现有的“共识”，敢于探索未知的领域。
与积极拥抱“非共识”的曹越和孔令鹏不同，阿里给外界的印象相对“保守”，长期专注于Dense模型（稠密模型）的发展。直到2025年2月，通义千问才姗姗来迟地推出了首个MoE（Mixture of Experts，混合专家模型）模型。面对外界的质疑，林俊旸在圆桌对话中坦诚地回应道：“我们并非刻意求‘保守’，而是经过大量的实验验证，发现此前的尝试未能达到我们期望的成果。” 这也解释了阿里在技术选择上的谨慎态度，强调了实证的重要性。
林俊旸还分享了阿里在Transformer架构上的探索历程。作为当前AI模型的核心架构，阿里曾经尝试过各种改进方案，但最终发现，原始的Transformer架构仍然是最优解。这一经历揭示了“共识”在AI行业中的重要性：经过广泛验证且持续有效的技术方案，往往代表着可靠的成功经验，尤其是在资源有限的情况下，遵循“共识”可以有效地避免不必要的试错成本。
然而，即使是曾经坚守“共识”的林俊旸，也敏锐地感受到了行业的变化。正如他所言，现在的AI行业“就像是在不同的方向上摸彩票，看谁能中大奖”。这意味着，即使是成熟的技术路线，也需要不断探索新的可能性，寻找新的突破点。
孔令鹏的观点与林俊旸互相呼应。他认为，无论是语言模型上的扩散模型，还是视频模型上的自回归路线，其本质都是为了在模型偏差和数据偏差之间寻求最佳的平衡点，从而达到更好的效果。这种观点深刻地揭示了“非共识”探索背后的真正目的：并非为了标新立异，而是为了解决实际问题，最终提升模型的整体性能。
关于预训练技术，一个新的“非共识”观点正在美国兴起：预训练阶段尚未结束，仍然有很大的潜力可以挖掘。林俊旸站在了这一新观点的阵营中，他透露阿里仍然有大量高质量的数据尚未用于千问模型的训练，而每次加入新的数据，即使是incremental data，都能显著提升模型的性能。这意味着预训练并非一个一蹴而就的过程，而是一个需要持续投入和优化的长期过程。这种持续预训练的思路，为预训练模型的未来发展提供了新的方向。
在圆桌对话中，三位嘉宾还分享了他们在模型优化、架构创新等方面的独特见解。曹越强调了稀疏化技术在提升多模态领域效率方面的巨大潜力；林俊旸则重点关注了MOE模型的进一步探索以及训练稳定性的优化方法；孔令鹏则深入探讨了模型的可解释性和幻觉问题，并提出了将“创造”视为一种“搜索”问题的创新思路。这些真知灼见，充分展现了AI行业蓬勃发展的创新活力。
总而言之，通过这场圆桌对话，我们可以深刻地感受到AI行业的多元性和创新性。在这个日新月异的领域里，“共识”与“非共识”不断交织、碰撞，互相促进，共同推动着技术的持续进步。未来的AI发展，将会在这种动态平衡中不断演进，最终塑造出更加智能、高效、可靠的AI系统。
