金融核心系统,尤其是银行核心交易系统对数据库的要求极为严苛,一直都是国产数据库想要攻克的难关,是检验国产数据库能否挑起大梁的标志。
近两年好消息不断,就在10月初,某银行基于易鲸捷分布式数据库打造的国产软硬件支撑的核心交易系统进入试运行阶段,目前运行稳定,各项指标均满足预期。可以说这是国产分布式数据库的一个突破,也是银行打造全栈国产软硬件核心交易系统的突破。
IT168&ITPUB一直都在关注国产数据库在金融核心系统的发展动态,去年,该银行核心交易系统正在建设中,我们采访了易鲸捷解决方案架构师王燮元,讨论国产数据库在支持金融核心系统的发展情况,他告诉IT168&ITPUB:“全栈核心系统的主要难点在于软硬件之间的适配和磨合,相比国外产品数十年的发展,我们(国内)无论是芯片、操作系统还是数据库,实际上都缺乏在核心重要系统的应用和演练,虽然线下我们在积极推动生态的建设,各个厂商之间的适配工作也都在进行,但不拉到真实的战场试一下,总归是不行的。”
日前,IT168&ITPUB再次找到王燮元,本次我们重点讨论了分布式数据库的发展,以及分布式数据库在银行核心系统的落地情况。
分布式数据库从1.0走到2.0
随着海量数据爆发,移动互联网带来高并发需求,传统的集中式数据库出现瓶颈,分布式数据库技术自2010年以来呈现蓬勃发展的趋势,目前正处于增长期,被认为是未来支撑核心、关键业务系统的主流数据库技术,也是国产数据库实现换道超车的希望。
根据IDC的调研,目前约26.8%的企业级市场用户部署了分布式数据库,超过90%的企业认可分布式数据库部署后的效果,其中,大多数被访企业看到数据库系统性能的明显改善,切实解决数据库企业级应用痛难点。
在分布式数据库如此火热之下,很多厂商针对不同业务场景打造了多个分布式数据库产品。比如,易鲸捷目前有QianBase xTP、QianBase MPP、QianBase HTAP三款分布式产品,分别对应OLTP、OLAP、HTAP场景。
王燮元介绍,分布式数据库产品有很多,针对核心交易的分布式数据库产品,经过多年发展,如今从分布式数据库1.0走到了分布式数据库2.0时代。
分布式数据库1.0时代多以开源MySQL、PostgreSQL辅以分库分表中间件来实现,但存在对应用侵入性强、不透明,基于单机HA的可靠性差,跨节点的查询、事务能力弱,跨DC的两地三中心能力不足等缺陷。他介绍,易鲸捷遇到过某分库分表架构的数据库产品,对产品的研发有大量约束性规范,很多SQL需要改成指定的样子才能使用,涉及大量对应用的改造。
而以QianBase xTP为代表的分布式数据库2.0技术是原生分布式数据库,对用户应用系统完全透明,支持多层次高可用和多种跨数据中心多活的容灾部署方案,并大大降低了运维复杂度。因此更适合诸如银行核心类关键业务的应用支撑,满足系统在数据一致性、稳定性、可靠性、高可用、可扩展等方面的需求。
当然,世界上没有完美的技术,只有合适的技术。分库分表+中间件技术路线也有其优势,比如,仍然在原有单机数据库上执行,学习成本低。而原生分布式数据库技术路线也有其需要改进的地方,比如产品成熟度仍然需要沉淀与长时间核心系统的验证,还需要进一步完善上下游生态的的适配等。
可以看到,以易鲸捷为代表的国产数据库厂商正在不断强化原生分布式数据库的能力。如在技术方面,今年易鲸捷获得了美国商务专利局三份关于分布式数据库的专利证书,其中“混合乐观锁和悲观锁的数据库事务并发控制”发明专利,解决了分布式数据库最棘手的多用户并发访问冲突问题。在实践案例方面,日前,在翻越银行核心交易系统这座大山方面又取得了突破。
易鲸捷认为在所有分布式数据库技术路线里,未来真正有生命力的是2.0架构的原生分布式数据库。
分布式数据将加速落地银行核心交易系统
不同行业对数据库的需求并不相同,王燮元习惯于以互联网、运营商和金融三个行业为例,他指出对于性能的要求,互联网最高,其次是运营商,然后是金融,但是对于安全和可用性的要求正好相反,金融最高,运营商次之,然后是互联网。
“数据不能丢,账务不能错,系统不能停。”王燮元再三强调,这是金融业尤其是银行核心系统的刚性要求,实际上也是对数据库的要求。银行核心交易系统关乎国计民生,轻易不会调整,而一旦需要调整就要规划可以支撑未来5年到10年的架构。随着移动互联网的普及,移动支付不断发展,银行业务系统面临海量数据处理与高并发等挑战,“分布式架构是现在银行选型时必然要考虑的一个点。”
过去几年,金融行业数据库国产化试点工作稳步推进,在信创需求推动下,金融国产化替代也在加速,随着银行交易核心系统国产化取得突破,王燮元认为,未来,分布式数据库将加速落地银行核心交易系统。他强调,信创其实不单独是数据库,还包括整个上下游的信创建设,这要求数据库构建信创生态打通上下游,完善信创生态是当下及未来国产分布式数据库支撑银行核心系统的重点和难点。
易鲸捷分布式数据库是少数可以支撑银行核心系统的数据库产品,易鲸捷采用集团军作战,在软硬件全面国产化方面探索出了一条路。“在做银行核心交易系统项目的时候,我们不仅是把它定位成行业标杆项目,更多其实把它看作是一次国内信创生态的一个技术攻关。因为之前确实没有厂商那么去做过。”王燮元介绍。
据悉,易鲸捷在进行核心系统落地实施的过程中,遇到了许多计划内和计划外的问题,积累了很多宝贵的经验。银行对于核心系统较为谨慎,谁都不愿意做第一个吃螃蟹者。王燮元将在DTCC2022中国数据库技术大会上带来“基于易鲸捷分布式2.0数据库的银行核心交易系统落地实践”的主题演讲,本次演讲将结合实际需求,从数据分片、副本设置、全栈适配、业务连续方案、性能优化、日常运维等多个方面进行分享,相信这次分享能为更多想要进行核心交易系统分布式改造的银行提供有意义的参考。
在如今国产数据库百花齐放的时代,分布式数据库不断取得突破,正大放光芒,以银行为代表的金融业分布式改造需求也越来越旺盛,在分布式改造过程中有诸多痛点和难点,更多精彩内容敬请关注DTCC 2022中国数据库技术大会。