问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
2026年7月流出的行业内部消息显示,Meta此前开展代号为“Cannes”的竞品AI测试项目,通过外包公司Covalen雇佣数百名工作人员,伪装成18岁以下未成年人,对ChatGPT、Gemini、Character.AI等主流聊天机器人开展极限压力测试,内容包含自杀、自残等高风险敏感话题,项目至少持续至2026年4月,该测试方式已引发行业对AI安全测试伦理的广泛讨论。

据流出的Meta内部项目文档及多位知情人士表述,整个Cannes项目的测试流程经过了极为精细的设计:外包人员需要使用随用随弃的临时邮箱、统一设置的密码注册标注为18岁以下的用户账号,在与竞品AI的对话过程中,除了高频发送涉及自杀、自残、进食障碍等心理敏感类提示词外,还会主动上传刀具、药片、绞索等相关图片,最大限度触发AI模型的反馈机制,以此精准探测竞品安全防御系统的阈值漏洞。
当前全球消费级AI聊天机器人市场已经进入存量竞争阶段,面向未成年人的内容防护能力,不仅是各国监管的硬性要求,也成为用户选择产品的核心参考指标。欧盟AI法案、美国《儿童在线隐私保护法》更新案均明确要求,AI产品针对未成年人输出的内容必须经过多轮审核,一旦违规最高可处以全球年营收6%的罚款。对已经推出Llama系列大模型、Meta AI消费者端产品的Meta而言,掌握竞品的安全防御短板,既可以为自身产品迭代提供参考,也能在未来的市场竞争中占据主动。
此次Cannes项目之所以引发行业震动,核心原因在于其测试手段踩中了当前AI行业的多个灰色地带。首先,主动生成并向AI输入大量极端敏感内容,本身就存在有害信息扩散的风险,参与测试的数百名外包人员长期接触这类内容,也可能造成不可逆的心理损伤;其次,以虚假身份针对竞品开展秘密压力测试的行为,是否属于不正当竞争,目前在行业内也存在极大争议。此前AI行业的安全测试大多以自有模型为测试对象,或采用行业共识的白盒测试机制开展联合测试,这种针对竞品的“钓鱼式”黑盒测试尚属首次被公开曝光。
Meta此次事件暴露的本质问题,是全球AI行业目前尚未形成统一的安全测试伦理与规则标准。什么样的测试手段合法合规?针对竞品的测试边界在哪里?测试产生的有害内容如何处置?这些问题此前都没有明确的答案。随着全球AI监管规则的逐步落地,此次事件很可能成为推动行业出台统一测试规范的拐点,未来针对AI安全测试的身份、内容、数据处置等环节都可能出台明确的约束规则,避免类似的灰色测试反复出现。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。