问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
云开发平台Vercel首席执行官Guillermo Rauch近期公开提出,AI产业应推动大语言模型与AI Agent的架构拆分,这一思路将大幅降低生产级AI应用的落地成本,优化单位算力的投入产出比,目前已有多家头部云厂商与AI应用开发商跟进测试相关方案,有望成为未来2年AI落地的核心技术路线之一。
过去一年,Vercel平台上的AI应用部署量增长了320%,但Guillermo Rauch在和客户的沟通中发现,超过六成的AI应用上线后3个月就会因为成本过高缩减服务范围,甚至直接下架。
当前行业主流的部署方案中,AI Agent的运行往往和大语言模型的推理深度耦合,哪怕是简单的日程调度、数据查询等场景,也需要调用全量大模型完成推理,导致大量算力被浪费在非必要的通用能力调用上。对面向C端的AI应用来说,单用户月均算力成本超过10元就基本丧失商业化可行性,这一门槛拦住了80%以上的中小开发者。
Guillermo Rauch提出的拆分方案,核心是将大语言模型的通用认知能力,和AI Agent的场景调度能力完全解耦:大模型只负责处理需要复杂推理的核心请求,AI Agent则独立运行轻量化的上下文管理、工具调用、规则匹配等逻辑,两者通过标准接口调用,不需要绑定在同一套算力资源上。
根据Vercel内部测试的数据,采用拆分架构的AI应用,平均推理成本可以降低62%,响应速度提升47%,在客服、办公协同等标准化场景下,成本下降幅度甚至可以达到75%以上。目前Vercel已经在其官方AI开发工具链中上线了拆分部署的原生支持,开发者不需要重构现有代码,就可以快速切换到新架构。
在拆分架构普及之后,AI产业的分工边界会变得更加清晰:底层大模型厂商可以专注提升通用推理能力,不需要为不同场景做大量定制化适配;中间层的Agent开发商可以专注打磨行业场景的调度逻辑,不需要投入资源训练大模型;上层应用开发者则可以根据需求灵活组合不同的模型和Agent,进一步降低开发门槛和成本。
目前OpenAI、Anthropic等头部大模型厂商已经开放了适配拆分架构的轻量化调用接口,预计到2027年,全球超过40%的生产级AI应用都会采用这套拆分部署方案。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。