AMD发布全开源16B参数MoE大模型单Token仅激活2.8B参数

AI创作导航管理员 LV4 资深连续登录30天萌新

2 个月前

风向

1242

近日，芯片厂商AMD正式发布全开源混合专家（MoE）大语言模型Instella-MoE-16B-A3B。该模型总参数规模达16B，单Token推理过程中仅激活2.8B参数，全程基于AMD Instinct系列GPU训练完成，模型权重、训练框架、部署工具均完全开放，为大模型轻量化部署、边缘侧AI落地提供了新的技术路径。

在大模型商业化落地逐步进入“成本优先”的竞争周期，兼顾效果与推理效率的MoE结构已经成为业内公认的主流技术方向，而硬件厂商的下场布局，更是进一步加快了这类技术的普及速度。

此前行业内推出的MoE大模型大多存在开源不彻底的问题：部分模型仅开放推理接口不开放权重，部分模型训练、部署工具高度绑定特定厂商硬件，无形中抬高了中小开发者的使用门槛。对于大量需要本地化部署大模型的企业而言，既需要模型效果达到可用标准，也需要尽可能降低推理硬件的投入成本，而现有开源模型很难同时满足这两个需求。

AMD此次推出的Instella-MoE-16B-A3B核心优势就在于平衡了效果与成本：16B的总参数规模保障了模型在通用任务上的表现不输同量级稠密大模型，而单Token仅激活2.8B参数的设计，直接将推理算力需求降低到同效果稠密模型的30%左右，即便是中端消费级显卡也可以完成本地部署。

值得注意的是，该模型全程基于AMD Instinct系列GPU训练完成，但所有开放资源没有任何硬件绑定限制，开发者可以根据需求选择任意厂商的硬件完成部署，进一步降低了使用门槛。

作为全球第二大通用GPU厂商，AMD此次推出全开源大模型的动作，也被业内视作其对标竞品完善AI生态的重要布局。此前头部GPU厂商已经通过CUDA生态、自研开源大模型等方式绑定了大量开发者，而AMD此次开放从训练硬件到模型基座的全栈资源，本质上是为开发者提供了更具性价比的AI开发选项，也将进一步激活Instinct系列GPU的市场竞争力。

据业内人士透露，后续AMD还将推出更多不同参数规模的开源MoE模型，覆盖云侧、边缘侧等不同场景的落地需求，硬件厂商主导的大模型开源竞赛才刚刚拉开序幕。

大语言模型开源AI AMD 混合专家模型 Instella-MoE

本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。