7月28日，国内大模型厂商月之暗面正式开源2.8万亿参数大模型Kimi K3，该模型支持100万token上下文窗口与原生视觉理解，搭载KDA混合注意力等多项自研架构创新。同日摩尔线程宣布，基于旗下MTT S5000智算卡及MUSA软件栈，已率先完成Kimi K3的全栈适配与稳定运行，标志着国产算力与开源大模型协同获得重要突破。
此次公开的Kimi K3是目前全球首个开源的3万亿参数级别大模型，也是月之暗面Kimi系列迭代至今的最高性能版本，模型权重与完整技术报告已同步面向全球开发者开放，无需申请即可直接获取用于研发测试。
Kimi K3的2.8万亿参数规模，远超当前主流开源大模型的参数量级，搭配100万token上下文窗口，可以一次性处理数十万字的文档、代码库甚至整本书籍内容，原生支持的视觉理解能力也能满足多模态场景的需求。
为了平衡超大规模参数带来的性能与推理成本问题，月之暗面团队为其搭载了多项自研架构创新，包括KDA混合线性注意力机制（Kimi Delta Attention）、注意力残差、Gated MLA以及Stable LatentMoE等，在保持3万亿级模型推理能力的同时，大幅降低了运行资源消耗，专门面向长程编程、复杂知识工作、多步推理等高阶AI场景优化。
在Kimi K3发布的同一天，国内GPU厂商摩尔线程同步官宣适配进展，基于旗下MTT S5000训推一体智算卡与自研MUSA软件栈，已经完成Kimi K3的极速适配与稳定拉起，成为国内首个完成该超大规模模型全栈适配的国产算力厂商。
此次适配的落地速度远超行业预期，一方面验证了摩尔线程MUSA生态对于超大规模大模型的快速响应能力，另一方面也首次证实了国产全功能GPU已经具备支撑万亿级大模型研发、部署的全流程能力，打破了此前行业对国产算力无法支撑超大规模大模型的质疑。
此前3万亿参数级别的大模型基本由海外厂商闭源提供服务，开发者不仅无法自主微调，也面临部署成本高、数据安全不可控等问题。
此次Kimi K3的开源，搭配国产算力的适配落地，为国内开发者、企业用户提供了完全自主可控的超大规模大模型解决方案：用户无需投入数亿资金从零训练大模型，也无需依赖高价进口算力芯片，即可在国产算力平台上部署、微调3万亿级的大模型能力，对于AI在工业设计、科研计算、政务服务等对数据安全要求较高的场景落地，有着重要的推动意义。
本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。
滇公网安备 53252802528133号