问小创
告诉我你的需求，我帮你从站内挑最合适的 AI 工具。
近日，英伟达推出集成NeMo Retriever多模态检索器、托管式NIM微服务，结合开源向量数据库LanceDB、重排序模块与事实校验生成能力的全链路多模态RAG搭建方案，可解决传统RAG跨模态检索准确率低、生成内容幻觉率高等痛点，方案已面向全球开发者开放测试，实测多模态场景下答案准确率较传统方案提升42%。
据最新的大模型应用落地调研显示，当前82%有知识库搭建需求的企业，已经将多模态内容纳入知识库范畴，但其中7成以上的企业反馈，现有多模态RAG方案要么部署成本过高，要么检索准确率达不到业务要求，无法真正投入生产环境。
此前大多数RAG方案仅针对文本场景优化，面对图片、音频、工程图纸、视频片段等非结构化多模态数据时，召回率普遍不足60%，加上检索和生成环节脱节，很容易出现信息错配的幻觉问题，很难满足电商、智能制造、医疗等领域的实际业务需求。
本次推出的多模态RAG方案，核心是把英伟达自研技术和开源生态工具做了全链路预适配，免去了开发者自行调试组件的大量工作量。
其中NeMo Retriever作为专门优化的多模态检索模型，支持文本、图像、音频等多种格式的向量表征，比通用检索模型的召回率高35%左右；托管式NIMs微服务则把底层推理框架的部署环节全部封装，用户直接调用就能获得低延迟的检索和生成能力，部署时间从原来的几周压缩到几小时；搭配的开源向量数据库LanceDB，支持高并发的多模态向量存储，成本比主流闭源向量数据库低60%；再加上自带的重排序模块和事实校验生成环节，从检索到生成全链路核对信息来源，可将生成内容的幻觉率降到5%以下。
目前已经有十余家科技企业参与了方案的内测，涉及电商、智能制造、医疗等多个领域，有内测用户反馈，原本需要十余人团队花1个月搭建的多模态客服知识库，现在只需要2个开发者用3天就能完成，且答案准确率比之前的自建方案高38%。
后续英伟达还会开放更多组件的适配接口，支持开发者接入更多开源大模型和向量数据库，进一步扩大方案的适用范围，让中小团队甚至个人开发者都能快速搭建符合自身需求的多模态RAG应用。
本文基于公开信息分析整理，仅供参考。更多AI工具动态与行业解读，请持续关注本站更新。
滇公网安备 53252802528133号