在今年的全国两会期间，全国人大代表、小米集团创始人雷军透露，他本人在去年的国庆假期中遭遇了AI换脸视频的侵权。有人利用AI技术，模仿他的声音和形象，在网络视频中扮演“代言人”或“替身”，以此进行商业活动或其他目的。雷军表示，他曾考虑通过法律途径维护自身权益，但发现当前法律体系对于此类新型侵权行为的界定和处理尚不完善。现有的法律框架，主要依赖于隐私权、肖像权和名誉权等相关法律进行诉讼，而在实际操作中，这些法律通常需要量化具体的损失，这使得维权之路充满挑战。
AI技术的快速发展，使得AI生成的真人形象在社交平台上屡见不鲜，并且逼真程度已经达到了以假乱真的地步。雷军的遭遇并非个例，在诸多“AI骗局”中，中老年人群体由于对AI技术的认知不足，更容易成为受害者。例如，陆俊（化名）的奶奶每天都会观看一个AI生成的胖小孩短视频，尽管陆俊多次提醒奶奶视频的真实性，但奶奶依然乐此不疲，认为这些视频能够带来快乐。这反映了AI内容在情感层面上对特定人群的吸引力。
这些AI账号往往通过“套近乎”、讲述“人生哲理”等方式与中老年群体建立情感连接，从而获取信任和关注。更进一步，一些AI账号开始利用这份“信任”进行商业变现，通过橱窗带货等方式盈利。例如，视频号“·古元·”发布的短视频，通常以“我的宝贝姐姐”作为开场白，围绕老年女性的日常生活展开内容创作，之后引导用户点击主页关注和下单购买商品。尽管该账号发布的视频数量并不算多，但其橱窗商品的销量已经突破了三位数。这种现象揭示了AI技术在精准营销方面的潜力，同时也凸显了其潜在的风险。
除了情感内容，养生内容也是AI账号“收割”老年人的重要领域。一些AI账号利用老年人的同理心进行商品推销，更甚者，直接利用AI换脸技术进行诈骗活动。据报道，去年曾发生过一起案例，一位江西老人被AI换脸视频所迷惑，执迷于与虚拟的网络“男友”——一个AI模仿的“靳东”形象，甚至想要贷款200万元给这位“男友”拍戏。另一起案例中，诈骗犯利用Deepfake深度伪造技术制作了公司高层发言的虚假视频，诱导员工进行转账汇款。这些案例充分表明了AI技术在制造虚假信息和进行诈骗方面的巨大威胁，对社会安全构成了潜在风险。
面对AI技术滥用所带来的问题，社会各界已经开始积极采取应对措施。在今年的全国两会上，多位全国政协委员和科技企业代表提出了加强AI安全监管的建议和提案。与此同时，各大互联网平台也在不断加强对AI生成内容的治理力度，陆续推出针对AI内容管理的相关政策。例如，腾讯等多家互联网公司正在积极研发检测AIGC（人工智能生成内容）的第三方工具。这些工具主要通过相似检索、内容检测以及水印追溯等技术手段来鉴别AI生成的内容，从而降低虚假信息传播的风险。然而，如何平衡技术发展与用户权益保护，仍然是当前面临的重要挑战。
为了进一步规范人工智能生成合成内容的管理，维护国家安全和社会公共利益，国家互联网信息办公室也发布了《人工智能生成合成内容标识办法（征求意见稿）》。该办法旨在通过对AI生成合成内容进行明确标识，从而提高公众的识别能力，并为相关监管部门提供依据。这些规定和监管政策的逐步落地，将为AI治理提供更有效的手段，有助于减少公众被AI技术蒙骗的事件发生，构建更加健康、安全的网络环境。然而，监管的完善需要持续进行，以适应不断发展的AI技术带来的新挑战。
