前Anthropic研究员发AI风险预警端侧AI落地引安全讨论

AI创作导航管理员 LV4 资深连续登录30天萌新

22 天前

风向

693

科技播客《Uncanny Valley》最新一期内容显示，曾主导Claude 3安全模块研发的前Anthropic研究员公开发布AI风险预警，称10年内超通用人工智能失控概率已达35%。当期内容同时拆解了2026苹果秋季发布会的端侧大模型升级方案，结合当前AI落地趋势，探讨了产业侧AI安全治理路径缺失的核心矛盾。

2026年9月以来，AI领域的安全讨论再次出现两极分化的态势：一边是AI安全对齐领域的核心研究者、曾主导Anthropic Claude 3安全模块研发的资深专家离职后公开发声，直指当前头部大模型厂商为抢占落地市场份额，普遍弱化了安全对齐测试的覆盖维度；另一边是苹果刚刚结束的秋季发布会推出的全栈端侧AI功能，上线仅72小时就被白帽安全研究者曝出存在用户隐私泄露漏洞。

全球生成式AI的用户规模在2026年上半年首次突破28亿，C端渗透率已经超过30%，与之形成鲜明对比的是，头部大模型厂商的AI安全投入占总研发投入的比例已经从2024年的14.7%下滑至2026年的7.9%。

前述前Anthropic研究员在播客中披露的35%的10年内失控风险，正是基于当前厂商普遍压缩安全测试流程的现状估算得出——他提到，部分厂商为了赶功能上线节点，甚至会直接跳过部分极端场景的对齐测试，给大模型的输出留下了可控性漏洞。

本次苹果发布会推出的Apple Intelligence 2.0被视为端侧AI落地的里程碑产品：全新的M4芯片可以支撑70亿参数大模型在本地全量运行，用户的语音指令、文档处理、照片编辑等需求完全不需要上传云端，理论上可以大幅提升用户数据的隐私安全性。

但上线后曝出的漏洞却打破了这一设想：安全研究者发现，端侧大模型的运行缓存会留存用户3个月内的所有交互数据，如果被恶意APP调用，可以绕过系统权限直接提取用户的相册、聊天记录等敏感信息，而传统的云端安全防护体系完全无法覆盖这类端侧场景的风险。

此前围绕AI安全的讨论往往陷入“末日论”和“无害论”的二元对立，要么过度强调远期的AGI失控风险，要么完全忽略落地阶段的现实安全隐患。

从本次暴露的问题来看，当前最紧迫的AI治理需求，是针对快速普及的端侧AI、垂直领域大模型等落地产品制定统一的安全测试标准。目前欧盟AI法案的更新版本预计要到2027年才会正式落地，美国的AI行政令也尚未对端侧AI的安全要求做出明确规定，监管的滞后性已经成为AI产业健康发展的核心短板。

大语言模型 AI安全 Anthropic 端侧AI 苹果

本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。