问小创
告诉我你的需求，我帮你从站内挑最合适的 AI 工具。
近日全球算力巨头英伟达正式入局高速增长的模型路由赛道，推出旗下首款模型路由工具NeMo Switchyard，为企业级大语言模型部署提供更低延迟、更高资源利用率的调度方案。当前全球模型路由市场年增速超70%，是2024年生成式AI落地环节最受关注的细分领域之一。
随着生成式AI进入规模化落地阶段，越来越多企业选择构建“通用大模型+垂类小模型”的混合模型矩阵满足不同场景需求，如何将用户请求精准分配给最适配的模型、同时控制推理成本，成为当前企业部署AI的核心痛点。不少企业反馈，多模型部署场景下，仅路由调度环节就会吃掉近20%的推理成本。
2024年以来，模型路由赛道累计融资额已超12亿美元，此前赛道玩家以开源社区、云厂商和垂直AI工具商为主，缺少算力厂商原生适配的专业方案。
英伟达本次推出的NeMo Switchyard，是业界首款绑定底层算力硬件的模型路由工具，深度适配英伟达CUDA生态与HGX系列AI服务器，可直接调用GPU底层调度能力，避免了纯软件路由工具与硬件适配的性能损耗。官方测试数据显示，在多模型混合部署场景下，这套方案可将推理延迟降低32%，同时GPU资源利用率提升45%。
目前该工具已整合进英伟达NeMo大模型开发套件，兼容Llama 3、Qwen、DeepSeek等主流开源大模型，企业自研私有化模型也可快速接入，无需大规模改造现有部署架构，目前已经向全球企业级客户开放测试申请。
业内分析认为，英伟达作为全球AI算力市场的主导者，入局模型路由赛道意味着AI部署工具链开始从纯软件优化向软硬协同优化升级，后续不排除更多硬件厂商跟进布局推理调度类工具的可能。
同时，英伟达的入场也有望改变当前模型路由市场标准分散、适配成本高的现状，进一步降低企业部署多模型架构的门槛，推动生成式AI在更多垂直行业的落地应用。
本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。
滇公网安备 53252802528133号