近期，上海警方通报了一起利用人工智能技术编造虚假信息的案件，两名品牌营销人员为博取关注，编造了“中山公园地铁站捅人”等不实信息，并使用 AI 软件生成虚假视频，最终被警方行政拘留。
这并非人工智能技术首次被用于制造谣言。近年来，类似利用 AI 软件、大模型自动生成虚假信息的行为屡见不鲜，造假形式包括文字、图片、视频等多种形式。
值得注意的是，某些 AI 软件的造假效率惊人，例如，近期被西安警方查获的一款软件，可以“一天生成 19 万篇文章”。该软件利用大量真实新闻稿件作为素材，通过拼凑、颠倒、替换等操作，自动生成文稿，最终形成大量反映同一事件，但类型不同的虚假文章。
这些虚假信息被恶意账号发布到网络平台，利用平台的流量奖励机制进行牟利。
人工智能技术作为一把“双刃剑”，在为各行各业带来便利的同时，也带来了批量造假的负面影响，加剧了 “造谣张张嘴，辟谣跑断腿”的现象，甚至出现“跑断腿都来不及辟谣”的困境。
为了应对这一挑战，需要从源头治理，减少谣言的泛滥。除了平台治理，还需要强化人工智能的“科技向善”原则，在模型和软件研发及应用中，将防范和治理谣言纳入考量。同时，需要加大“技术打败技术”的研发力度，引入人工智能辟谣技术。
平台方面，需要加强审查制度，对人工智能生成内容进行标注，并对虚构内容加注标签。对违规账号，采取“封号”等措施。
然而，“封号”只是事后管理措施，要切断谣言源头，需要更有效的事前和事中防范机制，例如，账号注册核验、动态巡查、调整流量分成制度等。
技术开发者和应用者也要承担谣言治理责任。由于造假软件利用海量真实素材，生成的谣言难以辨别，核查难度很高。因此，部分大模型开发者正在研究通过后台设置在生成内容中添加水印，告知用户内容来源。
然而，部分小型软件开发商和专门开发“AI 造假”软件的应用者，不仅不会添加标签，还会想方设法绕开监管。仅靠开发者自律无法解决问题。因此，需要明确技术应用者和软件开发者的责任，对默许、放任甚至故意编写软件造谣传谣的人员，进行严惩。
此外，可以引入人工智能技术进行谣言治理，以“技术打败技术”。现有的人工智能技术已经具备从海量真实信息中识别造假文章拼凑痕迹的能力。开发对应的模型，可以弥补人工核查的不足，快速有效地识别 AI 造假。
随着 AI 生成技术的普及，信息伪造的门槛降低，需要审核的信息量激增。因此，需要鼓励开发者从研发、应用、制度设计等方面加强合作，形成 AI 谣言治理的组合拳，共同推动“科技向善”。
