智能时代,数据库、数据和AI技术之间,在底层逻辑上发生了哪些重要变化?
DTCC 2024大会期间,阿里云数据库产品管理与技术架构部负责人、PolarDB开源社区技术委员会主席王远,与IT168 & ITPUB特约嘉宾薛晓刚,进行了一场深度对话,就数据库与AI技术的深入融合、云原生数据库的新趋势、向量数据库的支撑能力等热点话题,展开了深入沟通与讨论。
▲数据库领域专家薛晓刚(左)、阿里云数据库产品管理与技术架构部负责人、PolarDB开源社区技术委员会主席王远(右)
在王远看来,Data+AI不只是一个概念,而是已经进入实际落地阶段。同时,在新的应用环境下,需要支撑的场景有很多,单一数据库引擎已经无法满足业务需求,用户更希望通过不同引擎承载不同的工作负载。因此,在整体架构上,需要构建一个像“搭积木”一样便捷的统一数据管理能力,才能满足智能化时代需求。
再谈数据管理
“数据、AI、算力是智能时代的三要素,也是一个递进式的数据平台模型。”王远借用DIKW经济学模型,形象地解释了从数据到智能化的转化路径。
如果说数据平台是一个类似于“金字塔”的底座,处于最底层的是数据(Data),再往上是信息(Information)、知识(Knowledge),最顶层的是智慧(Wisdom)。其中,数据库所扮演的角色是数据管理的基石,承载着从数据到信息再到知识的三层交互,而大模型的出现,则把数据管理中上层的知识与智慧之间的鸿沟逐渐填平。
然而,数据管理能力的跃迁并不是凭空出现,而是技术发展的结果。人类从有计算机开始,就在进行数据管理,只不过早期的数据管理受制于存储设备限制,容量空间有限,导致数据不能长期保存、数据不能共享。数据管理能力得到跨越式发展,是因为数据库系统的诞生。在20世纪60年代,随着计算机管理对象的规模越来越大、数据量急剧增长,多种应用进行数据集合的要求越来越强烈,数据库技术顺势而生。数据库的核心作用在于,提供了一种高效、可靠的数据存储与管理方式,并且方便用户访问和查询数据。
走到今天,智能化时代来临,数据库、云原生、人工智能开始真正“握手”,走向深度融合的新时期,以至于数据管理的整个平台架构也跟着发生了微妙变化。
智能底座的进化
在全新的Data+AI时代里,发生了三件大事:
一、OpenAI收购了数据库分析公司Rockset。OpenAI收购的目的是想构建更坚实的数据底座,而Rockset能提供两个关键能力:一个是多维索引,另一个是实时性。这说明,AI时代,对数据检索的要求不是变弱了,而是越来越强了。
二、向量数据库快速发展。向量就是特征,向量数据库的检索和传统数据库精确的检索结合,可以给用户创造更灵活、更贴合业务场景的一种检索模式,甚至是更可理解的检索模式。
三、具身智能的突破。“具身智能”是AI里面的行为主义,强调输入和反馈,更需要对海量多模数据管理的提升,包括对环境的快速感知能力,不仅要理解、决策,还要拿到反馈。这时候的数据平台呈现两个特点:一个是多模,另一个是实时。多模,意味着能在海量数据的基础上处理多种类型的数据;实时,让数据库的应用范围进一步拓宽,同时在查询和体验上能变得更易用。
每件事都在从不同角度说明,人类已真正进入了智能化变革期,数据平台的底座迎来了新的跃迁。阿里云数据库产品管理与技术架构部负责人、PolarDB开源社区技术委员会主席王远表示,智能数据平台的底座可以分为三层:最底层,是基础设施层,包括存储、计算,这是传统数据库以及云数据库特别擅长的点;最上层,是端到端的智能化服务,目前主要以RAG服务为代表,面向用户以及开发者提供模型、算法管理、向量检索能力,特别是需要把向量检索基于SQL的检索结合起来。中间层,是智能数据平台的“大脑”,包括数据的统一、现代数据开发、Copilot智能。
从云数据库的发展方向来看,AI时代的云原生数据库要实现“四化”,即云原生化、平台化、一体化和智能化。本质是希望把各种各样的云资源利用起来,通过一系列的管控以及内核解耦技术,帮助用户降低云数据库的使用门槛、将业务价值最大化。与传统数据库相比,AI时代的云数据库不再是资源视角,而是能力视角,用户更关注业务的使用情况,而不是要买多少云服务器,多少G的内存。
打磨一站式数据管理平台
为了满足Data+AI时代的用户需求,阿里云通过“瑶池”打造整体云数据库品牌,应对智能数据平台的不同场景考验。
就具体的产品类型来看,阿里云瑶池数据库分为四大类,包括:OLTP数据库、OLAP数据库, NoSQL数据库,以及相关的数据管理工具,包括DMS数据管理、DTS数据传输、数据库备份等。
据王远介绍,阿里云瑶池旗下包括3款核心的自研数据库,分别是PolarDB、AnalyticDB,还有Lindorm。其中,PolarDB是自研的云原生关系型数据库,主要应对OLTP场景;AnalyticDB(简称 ADB)应对的是OLAP场景,与云原生存储进行了深入融合,能提供大数据场景下更具性价比的解决方案;Lindorm是一款云原生多模数据库,随着HBase的发展在多模方向拓展应用边界,可支持从早期的宽表模型到现在的时序、时空、向量、 JSON等多种数据,不仅可以处理结构化和非结构化数据,同时也集成了AI训练和推理能力。
提到AI,我们很自然地会想到向量数据库。目前阿里云瑶池数据库的全系产品均已支持向量能力,但各自技术路线不同。对于开源类产品,如RDS系列基本走的是开源路线,最典型的产品是RDS PostgreSQL,集成了PG Vector插件,兼容开源生态;自研向量检索引擎FastANN主要用于自研数据库产品,比如AnalyticDB PG、PolarDB PG、Lindorm、Tair都集成了自研向量引擎。
王远表示,由于云上用户较多,应用场景也更多元,单一数据库引擎很难满足所有用户需求。采用不同引擎承载不同的工作负载,并且让用户拥有一站式数据管理平台的使用体验,这是阿里云瑶池数据库产品一直打磨的方向:
第一:通过云原生Serverless,持续降低用户的数据库使用门槛;
第二:一体化、一站式。阿里云瑶池拥有庞大的用户群体和业内最丰富的云数据库产品家族。瑶池数据库目标为用户提供开箱即用的数据库产品,这一理念也指引着我们的技术方向。用户无需关注负载管理、智能路由、数据冷热分层等技术细节,全部可通过“瑶池数据库”一站式完成。
这也引申出第三个方向:多模。无论是云厂商,还是经典老牌数据库企业,未来都会向着这个方向探索。向量技术的发展,正逐步走向成熟,目前已能够满足经典应用场景。向量最大的意义是打破了结构化与非结构化数据之间的界限,“万物皆可特征化”。按此逻辑,数据库甚至数据平台,一定会向着包罗万象的方向前进,未来将承接各种各样的数据类型。
第四:AI4DB,AI技术与数据库的结合。之前三个方向讨论的都是数据库技术如何支撑AI,但AI也能为数据库赋能。从资深DBA角度出发,可以用AI免运维。更高层次的,如数据开发、数据应用、数据服务等都可以通过AI降低门槛,这也是未来的方向之一。
在Data+AI驱动的云原生数据库发展路线图中,云原生和AI将是最给力的 “助攻”,帮助用户拥抱AI时代。