数据库 频道

非结构化数据占比超过92.9%,IDC发布RAG与向量数据库市场前景预测

  当前,RAG与向量数据库是AI厂商布局的重点方向之一。2023年全球非结构化数据占比达到92.9%,用户需要更好地管理、治理这些数据从而用于更精准的分析和AI内容生成。IDC于近日发布了《RAG与向量数据库市场前景预测》(Doc# CHC52204725,2024年10月),报告绘制了RAG管道建设路径以及其中包含的主要技术和算法,收录并评估了市场中的主要厂商,来为市场选型提供参考建议。

  在生成式AI开发过程中,41%的高管认为搭建RAG架构非常重要,81%的IT领导者认为利用自己业务数据的GenAI模型将使他们比竞争对手具有明显优势。RAG为LLM提供企业内部数据,使生成内容更加准确合理,已在知识问答、对话查询、任务执行等应用中集成。未来两年,企业表示将在营销、网络安全、知识管理和发现等领域中更多采用RAG。

  原生向量数据库、向量检索引擎作为实现RAG的重要组成,最先落地的客户和场景包括银行(客服、知识库)、制造业(故障检测)、汽车(知识库、图片相似性搜索)、搜索(相似性搜索)等。从需求来看,大部分客户对RAG和向量数据库的区别还没有明确认知,更多从成本和难易程度的角度来考虑建设方式,同时随着文档数量的上升,也更关注如何组织逻辑、评估效果。

  原生和非原生向量数据库将长期并存,成本、部署难度以及大模型/Agent套件服务将会是影响企业选择的最重要因素。即使存在性能差距,但均可以通过改善工程实现优化。原生向量数据库在可扩展性、准确率、数据规模、QPS等上有优势,以及自研embedding模型,会提高LLM生成内容的效果和精准度,但影响模型效果的因素还包括数据的前期处理、LLM模型本身效果、检索后重排序、Prompt等多个方面,且各技术解决方案均会集成ANN、HSNW、Graph等最新算法,之间壁垒并不明显。

  向量数据库市场主要由GenAI带动,多为大模型服务项目总包中的一部分,仅有少量商业化解决方案落地,例如银行保险行业,2024年各企业在向量数据库项目上的营收规模大多集中在3000-5000万,其整体市场也面临着RAG开源检索引擎、LLMOps工具的影响。

  根据市场调研和访谈,IDC绘制向量数据库&RAG技术发展趋势图,梳理当前和未来技术供应商布局和企业关注重点,以为市场提供参考。

  本次IDC报告收录了中国市场向量数据库、RAG代表厂商,并对其优势项进行评估,包括阿里云、百度智能云、柏睿数据、滴普科技、Fabarta、火山引擎、矩阵起源、墨奇科技、腾讯云、星环科技、亚马逊云科技、Zilliz(按公司拼音首字母排序),此外值得关注的厂商还包括零一万物、爱可生、中国电信等。

  IDC中国新兴科技研究组高级分析师李浩然表示,在当前GenAI技术路径下,向量数据库是实现内容精准检索和推荐的必然方式,考虑到部署难度和资源成本的问题,未来市场下向量引擎、原生向量数据库、多模态一体化数据管理方案等多种建设选择还会长期并存。Data Fabric将会是未来1-2年技术供应商的的布局重点,在多数据产品之上实现统一的数据存储、嵌入、检索和AI生成。同时市场在搭建AI应用时也需要关注数据隐私,避免在RAG检索时的数据泄露、跨越权限的问题出现。

0
相关文章