问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
近日,跨机构AI研发共同体Soofi联盟正式推出开源基座大模型Soofi S 30B-A3B。该模型采用Mamba与Transformer混合架构结合MoE稀疏激活技术,总参数规模达31.6B,单轮推理仅激活3.2B参数,在同等推理成本下性能远超同量级稠密模型,可同时支持德语、英语两种语言的下游场景适配。
随着全球企业AI本地化部署需求持续上涨,开发者对大模型的成本控制、小语种适配能力提出了更高要求。此前有调研显示,德语区超过60%的中小科技企业认为,本地语言AI模型的高成本是阻碍其落地AI应用的核心障碍。
目前市场上的开源基座多以英语为核心优化方向,德语等欧洲语种的性能表现普遍偏低,而30B级以上的高性能模型又普遍存在推理成本过高的问题,中小团队很难落地应用。
这款新发布的Soofi S 30B-A3B刚好击中了上述行业痛点。架构上,它首次在30B级多语言模型中融合了Mamba的长上下文高效处理能力与Transformer的高精度通用推理优势,解决了纯Mamba模型通用任务精度不足、纯Transformer模型长文本推理慢的行业通病。
其采用的MoE稀疏激活设计是成本控制的核心:模型总参数达到316亿,单轮推理仅激活32亿参数,相当于用7B级稠密模型的推理成本,就能获得接近30B级模型的性能表现。
在双语能力上,该模型在德语常识推理、文本生成、专业领域问答等基准测试中,性能超出同级别开源模型12%-18%,英语能力也与主流30B级开源基座持平,且所有权重完全开放,允许商业免费使用。
这款模型的发布也填补了德英双语高性能开源MoE模型的市场空白,为德语区的企业、开发者提供了更低成本的本地化AI落地选项。
业内人士指出,Mamba与Transformer混合架构的落地验证,也为后续大模型的性能、效率平衡优化提供了新的技术路径。据了解,Soofi联盟后续还计划基于同一架构推出覆盖更多小语种的开源基座版本,进一步完善多语言大模型的开源生态。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。