企业级软件厂商甲骨文近期推出全新语义搜索产品Trusted Answer Search,该方案无需依托大语言模型(LLM)即可实现语义级检索能力,相较生成式AI检索方案可节省30%至40%的推理算力成本,同时具备全链路可审计、结果可控无幻觉等优势,仅需企业投入更高的前期数据治理与标注成本。
随着生成式AI的普及,越来越多企业尝试将大语言模型应用于内部知识库检索、客户服务问答等场景,但随之而来的幻觉风险、高算力成本、合规审计难等问题,也让不少强监管领域的企业望而却步。甲骨文此次推出的无LLM语义搜索方案,正是瞄准这一细分市场的空白需求。
过往基于大语言模型的语义检索方案,优势在于能够对多来源信息进行整合重组,输出自然流畅的生成式回答,但短板也十分突出:一方面,大模型推理算力成本居高不下,对于日均检索量超过10万次的中大型企业而言,仅每月的大模型调用或部署成本就可达数十万甚至上百万元;另一方面,生成式回答存在幻觉风险,且输出内容无法全链路溯源,完全无法满足金融、医疗、政务等领域的合规审计要求。
甲骨文此次发布的Trusted Answer Search,核心技术路径是基于预训练语义向量库+企业专属知识图谱,全程不调用生成式大语言模型进行内容生产,所有检索结果均直接匹配企业入库的权威数据源,仅对匹配到的原始内容做高亮、关联推荐等处理。
该方案的核心优势十分明确:首先是算力成本大幅降低,相比同量级的生成式检索方案,算力开销可降低30%-40%;其次是完全消除幻觉风险,所有结果均有明确来源,且操作全链路留痕,可满足强监管场景的审计要求;此外也无需担心内部敏感数据随大模型调用泄露的风险。
当然该方案也存在明显的适用门槛:企业需要提前完成内部多源异构数据的标准化梳理、语义标注和知识图谱搭建,前期数据治理成本相比普通生成式检索方案高出15%-25%,更适合已经具备较好数据基础的中大型企业。
此次甲骨文推出无LLM语义搜索方案,也透露出AI检索赛道的分化趋势:针对C端消费场景、创意类场景,主打灵活应答、内容生成的通用检索方案仍将是主流;而针对B端垂直场景,尤其是对合规性、准确性、成本控制有较高要求的领域,可控、可审计、低成本的专用检索方案将拥有越来越大的市场空间。
据了解,目前已有3家北美头部金融机构启动了该方案的内测,测试数据显示其检索准确率达到99.2%,未出现一例无来源的错误回答,检索响应速度相比原有生成式方案提升了27%。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。