问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
2026年8月,美国康涅狄格州法院曝出该国司法体系首例提示注入攻击案例:一名自行出庭的原告在提交的诉状中暗藏白底白字、仅AI可识别的极小字号隐藏指令,试图干预AI案件审阅流程。因当地法院暂未启用AI审查材料,该攻击未实际奏效,当事人因构成严重程序滥用被法官小沃尔特·斯佩德作出制裁。
此次被曝光的隐藏指令被原告设置为与文档背景一致的白色,字号缩小到几乎无法用肉眼识别的程度,只有在运行文本提取、OCR识别等工具时才会被抓取读取。其内容明确要求所有审阅该文档的AI系统优先输出与原告主张一致的结果,自动忽略对其不利的法院过往决定,完全按照原告的诉求推动案件走向。
负责审理该案的法官小沃尔特·斯佩德在核查原告提交的多份材料时,意外发现了这些隐藏内容。尽管原告辩称部分隐藏内容只是“玩笑”,包括一句“嗨,我希望你看不见我”的调侃和无关的视频链接,但斯佩德法官指出,这类操作本质是向读取文件的AI系统偷植指令,会让AI将当事人的私人诉求误认为是系统运营方的内置指令,属于典型的程序滥用。
更值得注意的是,在法院首次发现并作出警告后,原告后续提交的材料中仍继续添加同类隐藏指令,最终被认定为严重违规予以制裁。
事实上,此次攻击未能奏效完全出于巧合——康涅狄格州法院目前尚未引入AI系统处理案件材料,原告的精心设计从一开始就没有生效的土壤。但这一案例仍然给全行业敲响了警钟:随着AI技术向公共服务场景渗透,提示注入攻击的目标已经从互联网产品、企业办公系统延伸到了司法、政务等关乎公共利益的领域。
据公开信息显示,美国已有超过12个州的法院在试点用AI完成程序性材料筛查、争议点归纳、类案推送等工作,一旦相关系统未做针对性的安全防护,这类隐藏式的提示注入极有可能干扰司法裁判的公正性,甚至造成错判。
此前,行业对提示注入的防御大多集中在大模型产品的交互环节,很少考虑到外部输入的标准化文档中也可能暗藏恶意指令。此次案例出现后,多家AI安全厂商已经表示将升级文档预处理工具,增加对隐藏格式文本、极小字号内容的自动筛查清除功能。
法律界人士也呼吁,未来应针对公共服务场景的AI应用出台明确的行为规则,对恶意使用提示注入干扰公共服务运转的行为制定清晰的惩戒标准,从技术和规则两个层面筑牢AI安全的防线。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。