Reddit升级大语言模型治理系统日均拦截2300万条垃圾内容

AI创作导航管理员 LV4 资深连续登录30天萌新

2 个月前

风向

2026年7月，海外社交论坛Reddit公开其AI治理最新进展，通过升级大语言模型（LLM）结合原有自动化工具，精准识别AI生成隐蔽垃圾内容、虚假炒作行为，目前日均拦截2300万条垃圾信息，用户接触垃圾内容总量下降20%，垃圾账号接触频率降低10%至15%，为全球内容平台治理AI生成黑产提供了可落地的实践样本。

生成式AI的普及在降低内容创作门槛的同时，也给内容平台的治理体系带来了前所未有的挑战。过去两年间，利用大语言模型批量生成的虚假评论、带节奏帖、刷量内容已经渗透到各大社交平台，这类内容高度拟真、逻辑通顺，传统的关键词拦截、人工抽检模式识别率极低，大量违规内容绕过监管流入社区。

作为全球知名的UGC社交论坛，Reddit的社区生态长期受垃圾内容侵扰，平台方从创立之初就搭建了自动化风险账号监控体系，但在AI生成垃圾内容爆发后，原有系统的短板逐渐凸显：大量黑产团队用LLM生成贴合社区语境的违规内容，甚至模拟普通用户的发言逻辑、发帖节奏进行炒作，传统规则根本无法识别。为了应对这一问题，Reddit耗时近半年对原有治理系统进行升级，核心就是引入专门训练的大语言模型，替代原有的规则匹配逻辑。

这套升级后的治理系统采用“LLM识别+自动化工具处置”的联动架构，专门针对AI生成垃圾内容的特征进行了微调，不仅能够捕捉到普通用户难以察觉的虚假行为、人为炒作模式，还会对所有疑似自动化操作的账号触发真人身份验证流程。

目前这套系统的治理成效已经显现：日均成功拦截2300万条垃圾浏览信息，捕获2.5万条新增垃圾帖子或评论，直接让平台用户接触到的垃圾信息总量减少了20%，用户碰到垃圾账号的频率也降低了10%至15%。除此之外，系统还批量撤销了近200万次由机器刷取的点赞、投票等无效操作，进一步净化了社区的互动环境。

Reddit的此次尝试，也为全球内容平台的AI治理提供了新的落地思路。过去行业普遍认为，大语言模型会成为内容治理的“敌人”，但此次实践证明，经过针对性训练的LLM完全可以成为治理端的核心工具，其识别隐蔽违规内容的效率远高于传统规则系统。

不过业内也指出，AI治理系统目前仍存在误判风险，如何区分违规的AI生成垃圾内容和用户正常产出的AI辅助创作内容，如何避免治理算法本身带来的内容偏向性，都会是未来行业需要共同解决的问题。据了解，Reddit后续也会持续迭代治理模型的识别精度，同时开放用户申诉通道，平衡治理效率和用户体验。

大语言模型生成式AI AI治理 Reddit 内容安全

本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。