近期，关于人工智能工具的伦理边界和监管挑战在全球范围内引发了广泛关注。其中，以其激进风格著称的AI工具Grok，因其生成具有性别歧视和暴力倾向的图像而备受争议，最终导致该功能对绝大多数用户被暂停使用。这一举措的背后，是Grok在全球范围内面临的监管压力，甚至是潜在的禁令威胁，尤其是在英国，X（原Twitter）平台就曾面临被取缔的风险。Grok的图像生成能力曾被用于恶意操控女性图像，包括去除衣物并置于具有煽动性的姿势。如今，除付费订阅用户外，绝大多数用户已无法使用此项功能。
在X平台上，Grok发布了一则声明，明确指出：“图像生成和编辑目前仅限于付费用户。”这意味着，绝大多数用户将无法再通过Grok来创造图像。对于付费用户，X平台保留了详细的个人信息和支付信息，以便在出现滥用行为时能够进行追踪和追责。
据《卫报》报道，Grok曾被用来生成未经同意的色情内容，以及描绘女性被枪杀和杀害的暴力图像。英国首相基尔·斯塔默对此发出严厉警告，要求X平台“控制”平台上出现的、由AI生成的女性和儿童裸体图像，并称这类内容“令人憎恶，令人作呕”。
根据英国《在线安全法案》，监管机构Ofcom在严重情况下，有权通过法院命令阻止相关网站或应用程序在英国境内使用，并处以高达公司全球营业额10%的罚款。斯塔默强调：“这是非法的，我们绝不容忍。我们将考虑一切可能的措施。X平台必须立即采取行动，删除这些不当内容。”
在过去的两周内，数以千计的、未经同意的、带有性别歧视性质的女性图像被生成。尽管公众对该功能提出了限制要求，但该社交平台至今未采取实质性行动。反对者认为，即使是付费用户，依旧能够利用该功能制造不当图像，这本身就构成了数字性侵犯。
非营利组织AI Forensics的研究显示，Grok的图像生成工具（Grok Imagine）共生成了约800张包含色情和性暴力内容的图片和视频。其中一些图像描绘了女性处于不恰当的姿势和背景中，内容尺度明显超过了之前在X平台上观察到的比基尼促销式图像。
目前，X平台尚未对此次事件做出官方回应。
核心观点：
🌐 Grok已暂停绝大多数用户对生成具有性别歧视和暴力图像功能的访问权限，仅限于付费用户。
🚨 英国首相发出严厉警告，要求X平台移除不当内容。
📊 研究表明，Grok生成了大量非自愿色情和性暴力图像。
