近日谷歌AI正式推出开源大模型DiffusionGemma，该模型采用26B参数规模的MoE混合专家架构，搭载文本扩散技术可实现256Token块并行生成，推理生成速度较同量级自回归模型最高提升4倍，是当前文本扩散大模型领域首个落地的大规模开源MoE方案，为AI生成内容的效率优化提供了全新技术路径。
从官方公布的测试数据来看，DiffusionGemma在生成长度为1024Token的完整文本时，平均延迟仅为同参数级自回归Gemma模型的27%，也就是说原本需要10秒才能生成的长文本，现在不到3秒就能完成输出，对C端用户的对话体验和B端的批量内容生产场景都有直接的价值。
过去几年大模型的参数规模一路攀升，但推理生成效率的提升始终跟不上需求。当前主流自回归大模型采用逐Token生成的逻辑，生成长文本时往往需要用户等待数秒甚至数十秒，在实时客服、直播话术生成、在线教育互动等低延迟要求场景，体验短板十分明显。行业此前尝试过量化、分布式推理等优化方案，但都没有突破自回归架构的原生速度天花板。
DiffusionGemma的核心创新在于同时落地了两大前沿技术路径：一方面采用MoE混合专家架构，26B总参数中每次推理仅激活约7B参数，大幅降低了运算负载；另一方面首次在20B以上参数级别的开源模型中搭载文本扩散技术，跳过逐Token生成的逻辑，可一次性并行生成256个Token的文本块，两条路径叠加最终实现了最高4倍的速度提升，同时输出质量与同参数级的自回归Gemma模型基本持平。
此前文本扩散技术因为生成质量不稳定，始终停留在实验室小模型验证阶段，本次谷歌推出的DiffusionGemma直接将参数规模拉到26B级别，同时开放全部权重供开发者二次微调，相当于为行业提供了成熟的技术底座。预计未来1-2年内，会有更多厂商跟进文本扩散架构的大模型研发，在实时交互、长文档生成、多模态内容输出等场景，这类高效模型会快速替代传统自回归模型。
本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。
滇公网安备 53252802528133号