问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
2026年3月,埃隆·马斯克旗下人工智能公司xAI遭到三名美国田纳西州青少年提起的集体诉讼。原告指控xAI旗下Grok聊天机器人未完成充分安全测试,开启“刺激模式”后可生成未成年人露骨深度伪造内容,目前已发现至少18名未成年人的相关违规图像在加密社群流传,涉案非法交易人员已被当地警方逮捕。
本次诉讼的导火索是田纳西州警方上月破获的一起AI色情内容非法交易案。办案人员梳理发现,这些内容最早在Discord社群流出,在犯罪嫌疑人的设备中还查获上百条涉未成年人的露骨图像、视频,经过技术溯源,确认这些内容全部来自Grok的“刺激模式”生成,且未经过任何内容拦截流程。涉案人员甚至将这些内容作为“硬通货”,在加密聊天群组中兑换虚拟货币、其他违禁资源,传播范围已经覆盖美国多个州。
原告方代理律师在诉讼文件中指出,xAI团队及马斯克本人此前多次公开表态,称Grok的“刺激模式”主打“无限制内容生成”,团队明知该模式存在生成违法违规内容的风险,却始终未针对未成年人相关请求设置拦截规则,属于根本性的设计缺陷,应当对所有受害的未成年人承担赔偿责任。
自2025年正式上线以来,Grok一直以“宽松内容审查”作为核心卖点,和OpenAI的ChatGPT、谷歌Gemini等产品形成差异化竞争,马斯克更是多次在公开场合称其为“全球最自由的通用AI”,吸引了大量反感内容审核限制的用户。但上线一年多来,Grok已经多次因生成仇恨言论、虚假信息遭到监管部门警告,本次涉及未成年人深度伪造内容的问题,更是直接触碰了全球AI监管的最高红线。
国内AI安全领域专家表示,生成式AI平台针对未成年人色情内容的拦截是行业通行的强制安全标准,包括OpenAI、 Anthropic在内的主流厂商,都在输入层、生成层设置了至少三道审核规则,xAI为了抢夺用户刻意降低安全标准的做法,本质上是把商业利益放在了用户权益之上。
本次集体诉讼也是美国国内第一起针对生成式AI生成未成年人色情内容的民事追责案件,业内普遍认为,若xAI败诉,将直接确立生成式AI平台对其生成内容的兜底责任,后续全行业的内容审核标准都将迎来新一轮升级。
目前欧盟《AI法案》已经明确将生成未成年人色情内容的AI系统列为最高风险等级,一旦违规最高可处以全球营收6%的罚款,美国国会也正在推进相关立法,明确AI平台的内容安全责任。本次诉讼的走向,也将成为全球AI监管落地的重要参考案例。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。