问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
全球网络安全厂商CrowdStrike近日发布最新安全研究成果,首次识别出5类此前未被行业广泛关注的新型AI提示注入攻击方式。此类攻击可绕过现有大语言模型安全防护机制,窃取企业敏感数据、诱导生成恶意代码,目前已有近12%的部署生成式AI的企业遭遇过相关攻击,安全团队亟需更新防护体系应对新风险。
随着生成式AI技术落地速度加快,大语言模型已经成为企业办公、客户服务、代码研发等场景的常用工具,据行业统计,2024年全球中大型企业的生成式AI部署率已经突破62%,较2023年增长近一倍。但大部分企业的安全防护体系仍然围绕传统网络攻击搭建,对于AI原生的攻击类型缺乏识别和拦截能力,提示注入作为针对大模型的主流攻击手段,已经成为企业数据泄露的高发诱因。
CrowdStrike此次披露的5类新型提示注入攻击,覆盖了多模态交互、插件调用、微调数据预埋等多个此前被安全团队忽略的场景。其中间接文档注入可以将恶意指令隐藏在PDF、Word等日常办公文档的隐写字段中,大模型读取文档内容时会自动触发攻击;多轮隐式注入则会将恶意指令拆解成多轮正常对话的片段,逐步诱导大模型绕过安全限制。
测试数据显示,目前市面超过70%的大语言模型自带安全防护工具、第三方AI安全产品都无法有效识别这5类新型攻击,攻击者可以利用这类漏洞轻松获取企业存储在AI系统中的客户信息、研发代码等核心敏感数据,甚至可以诱导大模型生成钓鱼邮件、恶意代码等攻击工具,进一步扩大危害范围。
针对新出现的攻击风险,安全专家建议企业不能仅依赖大模型厂商提供的基础安全能力,需要搭建独立的AI应用安全管控体系。具体可以从四个维度入手:一是对所有输入大模型的数据进行全格式校验,识别隐写的恶意指令;二是对大模型的全对话链路进行审计,追溯异常操作的来源;三是收紧大模型的第三方插件调用权限,对敏感操作设置二次确认;四是定期同步最新的攻击特征库,更新拦截规则。
目前已有不少企业开始调整AI安全投入策略,2024年全球企业在AI原生安全领域的投入预计将达到187亿美元,同比增长超过90%,AI安全正在成为网络安全市场增长最快的细分赛道之一。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。