数据库 频道

解读《2022 分布式数据库发展趋势研究报告》

  分布式数据库近年来广受关注,目前,对分布式数据库的讨论,已经从什么是分布式数据库,为什么要用分布式数据库,转变为怎样规划应用分布式数据库。但分布式数据库有3条不同的技术路线,这无疑增加了选型难度,到底该怎么选?怎样选才能既满足企业未来五到十年业务发展需要,同时,所选数据库产品又符合产业发展趋势?

  继Gartner点名原生分布式数据库之后,近日,由国家工业信息安全发展研究中心、中国电子学会、北京国家金融科技认证中心联合研究编制的《分布式数据库发展趋势研究报告》发布,该报告再次点名原生分布式数据库,指出原生分布式数据库是未来数据处理的发展趋势。

  过去一年,我写的文章中,有很大部分与分布式数据库相关,比如:《话题探讨:GitHub不用分布式,能说明什么?》,《用分布式数据库后性能提高50%,为何还是放弃了?》《开源数据库虽香,但需警惕风险勿沦为“韭菜”》等等,有文章提到一些分布式数据库实践失败的案例,让一些人误认为我在唱衰分布式数据库。

  其实不然,正好相反,我认为,中国数据库的机会在于“换道超车”而非“弯道超车”,分布式数据库就属于“换道超车”。所以,分布式数据库有着巨大的空间和无限的可能,而在多种分布式数据库技术路线中,原生分布式数据库更被看好,多份报告已经很说明问题,这是由底层结构决定的。

  但作为一个新物种,原生分布式数据库产品成熟度还需要时间来锤炼,生态也需要完善。所以,有问题并不可怕,关键在于能不能不断的去解决问题。

  为什么说分布式数据库是大势所趋

  分布式是全球趋势而非中国特色,相比国外,国内的分布式更广泛,本质还是因为中国庞大的人口基数与人口密度、以及高度发展的经济。在数字化转型过程中,云计算、5G、IOT、人工智能、区块链等新兴技术的发展,带来了产品和应用在各行各业的不断更新和落地,随之而来的是数据量呈现几何级增长、数据结构复杂度与日攀升。

  报告指出,从需求面看,随着数据量爆发增长,传统数据库面临挑战:

  首先,是传统数据库遇到的性能瓶颈。

  快速发展更新的业务驱动着数据规模无限增长,传统集中式数据库面对数据量的增长时难以维持性能,然而分布式数据库的性能可以水平扩展。

  例如:二十年前,某电信运营商的业务以2G为主,业务比较单一,数据库仓库容量仅有10TB,分析形式以报告为主,引入4G后,业务范围扩展了很多,比如政企对公业务、视频内容业务、公有云业务、物联网业务等,数据容量已经超过800PB,因此,对数据库提出迫切的扩展性要求。

  其次,是传统数据库面临分析能力的缺失

  数据量爆发增长一定会带来数据分析需求的增长。

  企业级应用的业务场景通常可以分为联机交易(OLTP)和实时分析(OLAP)两种,目前,多数企业使用两套系统分别支撑交易系统和分析系统,不仅造成了大量的数据冗余,同时增加了系统的复杂度和运维难度。

  而分布式数据库的混合负载能力可大幅度提升分析时效性,并减少数据冗余,灵活性大大提高;

  最后,是传统数据库的成本颇为高昂。

  集中式数据库系统水平扩展难,需要按最大容量设计,可靠性需要付出高额的成本,反观分布式数据库,其架构支持灵活扩展,并可实现低成本的高可用解决方案。

  从政策面看,当前,国家已出台多项政策扶持数据库行业的发展,并且信创政策也已经上升到国家战略层面,近三年部分相关政策见下图,其中不少政策都明确重点布局针对数据库分布式转型、应用创新战略。

图片来源:《分布式数据库发展趋势研究报告》

  例如:2019年中国人民银行印发《金融科技(FinTech)发展规划(2019-2021 年)》(银发〔2019〕209 号)金融科技发展三年规划中,就明确提到的“加强分布式数据库研发应用”的要求。

  2021年11月30日,工业和信息化部发布的《“十四五”软件和信息技术服务业发展规划》,其中聚力攻坚基础软件部分,也明确提到了加速分布式数据库、混合事务分析处理数据库、共享内存数据库集群等产品研发和应用推广。

  多项政策都明确提到了分布式数据库研发应用,为什么?因为“沿着同样的路线再造一个Oracle根本不可能,也没有意义”是国内数据库从业者的共识,分布式数据库被认为是国产数据库“换道超车”的唯一机会。

  更明确的说,针对国内数据库存量市场,分布式数据库正在成为核心系统升级的首选。

  从市场面看,借助政策红利,国产数据库的应用越来越广泛,主要体现在党政、金融、电信、交通等行业领域;

  从技术层面,国产数据库技术也处于加速提升的关键阶段,各方面能力突飞猛进,在与国外高端数据库技术的抗衡中逐渐不落下风。例如:OceanBase打破了Oracle保持九年之久的TPC-C基准测试世界纪录,哪怕是九年前的纪录,从技术上说,这依然是巨大突破,因为,这并不容易,并不是随随便便就能刷出来的,否则,这纪录也不会9年无人打破。

  因此,多重因素驱动下,分布式数据库是大势所趋是明确的。

  为什么说原生是未来主流选择?

  分布式数据库与单机数据库的不同在于其可以将核心功能,即查询、事务管理、存储等扩展到多台节点,甚至多个地域。目前,从实现方式上看,分布式数据库主要有3种不同的技术路线:

图片及代表产品来源:《分布式数据库发展趋势研究报告》

  1、 分布式中间件+单机数据库

  2、 通过分布式共享存储实现扩展,采用非对称计算节点(大部分公有云数据库都属此类)

  3、 原生分布式数据库

  先来看分布式中间件+单机数据库技术路线:

  代表产品:TDSQL、GoldenDB、PolarDB-X等;

图片来源:《分布式数据库发展趋势研究报告》

  这种路线在单机数据库系统上进行改造,主要解决了扩展性的问题,但能力受到单机数据库自身制约,有天花板。

  优势:兼容性好,学习成本低;从原理上说,如果有足够的资源投入,比如:硬件资源、开发运维人员等,节点的扩展可以做到很大规模。

  劣势:业务代码修改成本高;下层计算节点无法按需扩展;全局事务能力、高可用等方面有短板;复杂度高,机器冗余多。。

  再来看通过构建分布式共享存储实现扩展,采用非对称计算节点,大部分公有云数据库是这条路线。

  代表产品:GaussDB(for MySQL)、TDSQL-C、SequoiaDB等;

  图片及代表产品来源:《分布式数据库发展趋势研究报告》

  由于共享存储能够跨多个节点提供读写,在某种程度上讲,也算是一种分布式。这条路线有限地解决了扩展性问题,跨地域数据一致主要依赖分布式存储的部署形态。

  优势:由于上层运行的来自单机数据库改造,兼容性好;日志和数据在分布式共享存储中保持冗余和一致性,产品整合度相对较高;应用不需要改造。

  劣势:扩展性有限,尤其是写节点,当数据处理规模要求较高时,仍旧需要分库处理;并且很难做到跨地域高可用。另外,这种架构需要对底座有比较重的依赖,需要对基础设施进行大范围替换。

  最后,看原生分布式数据库技术路线,各计算节点提供对等的读写服务;

  代表产品:OceanBase、TiDB、ZNBase等

图片及代表产品来源:《分布式数据库发展趋势研究报告》

  优势:可以按需扩展,没有数量和规模限制;数据一致性的安全保护机制更好;支持跨地域的访问和容灾;硬件依赖少,可灵活进行混合云和多云部署;硬件利用率高,可以通过普通PC服务器实现集群和高可用。

  劣势:多数产品成熟度不足,仍需沉淀,没有经过长时间核心系统验证;架构与传统数据库不同,目前虽然一些金融、能源、电信等行业的业务场景已尝试原生分布式数据库的部署,但整体上下游生态适配还有待进一步完善。

  总结一下,前两种路线明明更简单,为什么有些厂商会选择第三条路呢?

  因为,前2种技术路线,并没有改变底层结构,其底层使用的是非原生分布式数据库,因此,性能和能力受到底层数据库的制约,而原生分布式架构则没有这种制约。

  虽然原⽣分布式技术实现难度更⼤,但是下⼀代数据库产品的颠覆式创新⽅向之⼀,且和云计算天然契合。因此,报告认为,原生分布式的技术路线将是产业趋势。

  从九大趋势看如何选型

  既然,原生分布式数据库是未来主流选择,那么,原生分布式数据库又该怎么选?

  在报告给出的分布式数据库九大发展趋势中,我们可以得到一些启示。九大趋势如下:

  1、 分布式数据库走向原生设计

  2、 分布式数据库架构的设计走向一体化

  3、 分布式数据库的能力将向混合负载发展

  4、 分布式数据库的场景将向云化发展

  5、 分布式数据库的高可用能力不断在提升

  6、 分布式数据库对数据一致性的支持将日臻完善

  7、 分布式数据库的生态建设亟需推动

  8、 分布式数据库需要支持异构芯片的混合部署

  9、 分布式数据库应支持数据透明加密

  其实,大部分趋势在不少研报中曾多次出现,比如:云、生态、加密等,很多人都有所了解,并不难理解,因此,这里只聊三点:

  第一点,数据一致性

  众所周知,数据库最重要的就是保管好数据,数据不能丢失,这是基础,如果连这一点都做不到,其它的都是白搭。

  报告指出,在可靠数据库管理系统中,事务应该具有四个特性:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。以往在处理单一事务时,事务的原子性和持久性可以确保在一个事务内,操作多条数据要么都成功,要么都失败。这样在一个系统内部,可以使用数据库事务来保证数据一致性。

  但是,在微服务日益广泛的今天,一项操作会涉及到跨多个系统、多个数据库的时候,用单一的数据库事务就没办法解决了。并且,数据一致性不仅指在事务发生时的数据一致性,还需要考虑到主备副本之间、集群之间的数据一致性,以及是否有类似区块链似的校验,具备防篡改的能力和应对磁盘静默错误的能力。需要注意,这里其实提到了数据一致性的四条防线:

  1、 数据多副本一致

  2、 区块链级校验(防篡改)

  3、 存量数据一致性主动校验

  4、 磁盘静默错误防御

  目前,从整个数据库行业看,不论是Oracle、MySQL还是其它大多数数据库都没有校验主备副本之间的数据一致性。而四道防线都能做到的就更少了。

  第二点,一体化架构

  什么是一体化架构?能解决什么问题?这是以往的一些分布式数据库研究报中没有出现过的一种新趋势。

  报告指出,一体化设计思路是将传统商业数据库的强大单机能力与分布式融合,将多种负载能力在一套数据库上融合,甚至将多种兼容能力体现在一套数据库中。这些是国内重点行业的企业迫切需要的,能够为企业节省大量的迁移适配成本。

  从分布式数据库的3种技术路线来看,前两条技术路线并不是真正一体化架构,只能说是分布式中间件或分布式系统,第三条技术路线(原生分布式)才是一体化。

  而一体化之后性能、易用、兼容等各方面都会有显著提升,接下来要说的第三点就是如此。

  第三点:HTAP

  HTAP并不是什么新概念,自从2014年,Gartner首次提出 HTAP(Hybrid Transaction / Analytical Processing,混合事务分析处理)概念之后,HTAP就一直被热炒,因为确实有场景支持,所以,也备受关注,因此,号称HTAP的数据库产品也越来越多。

  但什么才是真正的HTAP?是近年来特别火的话题,并不是具有同时处理TP 和AP的能力,就是HTAP数据库。

  目前,比较主流的观点是,真正的HTAP,是高度融合的一个系统。这里需要注意,高度融合的一个系统,不是把两个不同的系统拼接在一起形成所谓的一个系统。这并不符合“一份数据”的要求,本质上还是使用两个系统,成本必然大幅上升,并且系统后续的开发和运维,也会有各种问题。另外,这种系统是无法保证对事务的支持能力、数据实效性的。

  真正的HTAP,一定是基于一体化架构。当然,这种架构在技术上实现难度更大。但对事务的支持能力和数据的实效性等方面都能提供更好的保证。

  最后,总结一下,可以预见的未来,更多的数据库产品最终会走向原生分布式的技术路线,未来原生分布式数据库才是主流选择。而原生分布式数据库到底应该具备怎样的能力?该怎么选?目前,在国内还没有明确的体系标准,但是,我们透过一些研报能发现一些关键指标的,这点在选型时,需要注意。

0
相关文章