问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
近日,AI开源研究机构Nous Research正式发布全新大模型调控技术对比神经元归因(Contrastive Neuron Attribution,简称CNA)。该技术无需进行稀疏自动编码器(SAE)训练,也不需要修改模型权重参数,仅通过消融稀疏MLP电路即可实现对大语言模型行为的精准控制,大幅降低了大模型对齐与功能定向修改的技术门槛与算力成本。
过去两年,大语言模型的行为定向调整始终是产业落地的核心难点。针对特定场景的全参数或LoRA微调,不仅需要数万至数十万级的训练算力投入,还普遍面临模型原有通用能力被稀释的“灾难性遗忘”风险;而此前业内推崇的稀疏自动编码器(SAE)电路定位方案,同样需要消耗大量算力完成适配,几乎很难被中小开发团队普及。
此次Nous Research推出的CNA技术,核心逻辑是通过对比神经元激活状态的差异,直接定位大模型MLP层中对应特定功能的稀疏电路,完全跳过了SAE训练环节,也不需要对原有模型的权重做任何修改。
开发者仅需识别出对应特定功能的MLP电路,对其进行定向消融,即可快速调整大模型的输出行为:既可以抑制幻觉、有害信息生成等负面能力,也可以定向增强代码生成、专业领域问答等特定能力,整个过程不会影响原有模型的推理效率,算力消耗仅为传统微调方案的1%不到。
作为全球开源大模型领域的核心研究机构,Nous Research此前推出的Nous-Hermes系列开源大模型已累计获得数百万次下载,是全球开发者使用率最高的开源模型系列之一。
业内预计,CNA技术大概率将以开源形式开放给社区使用,届时中小开发者无需持有大规模算力集群,即可快速完成垂直场景下的大模型定制,大幅降低垂直AI应用的开发门槛,甚至可能催生出用户侧可自主定制大模型行为的全新工具形态。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。