近日,由北京金融信息化研究所等单位联合发布的《金融数据库存算分离架构选型白皮书》,为金融机构在金融行业数据库架构选型与优化方面提供了宝贵的指导与建议,助力金融机构在数字化转型的道路上迈出坚实的一步。
从数据库技术的早期探索(1960年代)至今,存算分离架构始终是其中的重要篇章。以文件系统数据库为起点,存算分离的理念便已初现端倪,支持着单体应用的稳健运行。随后,关系型数据库的蓬勃发展,更是将存算分离架构奠定了坚实基础,IOE架构的形成,标志着“开放”与“解耦”的存算分离架构成为业界共识。即便在数据库技术多元化发展的今天,存算分离架构依然焕发着勃勃生机。随着NVMe Over Fabric、RDMA等技术的成熟,存算分离架构在性能上的瓶颈被逐一突破,其在金融等行业的广泛应用,更是彰显了其不可替代的价值与前景。
主流数据库部署架构,向存算分离架构演进
现阶段,随着传统应用与云及互联网业务场景日益融合,金融行业的业务动态性显著增强,这不仅对基础设施资源的灵活性和利用率提出更高要求,还伴随着数据量的指数级增长和数据类型的多元化,给数据库带来实现高性能和高可靠的挑战。与此同时,业务高峰的持续上升还要求数据库具备出色的弹性伸缩能力、持续服务能力以及合理的成本。
在多重因素的驱动下,无论是传统集中式、分布式还是云原生数据库市场,都在积极探索存算分离领域,数据库部署架构呈现从“存算一体”向“存算分离”的演进趋势。
集中式数据库,作为金融行业的“老将”,凭借其强大的功能、卓越的稳定性和良好的适配性,仍占据着金融数据库市场的主导地位。据金融信息化研究所《金融业数据库供应链安全发展报告》(2022)的数据显示,集中式数据库在金融业的应用整体占比达到89%。
然而,面对海量数据、高并发访问的冲击,原有的基于主从多副本架构的集中式数据库已显得力不从心。服务器可靠性受限、资源扩展不灵活、日志同步性能损耗大等问题,严重制约了其进一步发展。而存算分离架构的引入,无疑为集中式数据库注入了新的活力。通过专用存储设备提升数据持久性,降低硬盘故障风险;通过存储高可用能力替代传统日志复制,提升系统性能;实现存算解耦,按需分配资源,提高资源利用率。这一系列优势,使得存算分离架构的集中式数据库能够更好地适应金融行业的动态变化。
分布式数据库,尽管在银行业的应用比例尚不高,但其在应对大规模数据处理、高并发访问等方面具有显著优势。
然而,业务改造难度大、双碳集约目标挑战、系统可靠性下降等问题,一直是制约其发展的瓶颈。存算分离架构的引入,为分布式数据库提供了新的解题思路:通过优化数据库架构,提升系统可靠性,降低业务改造风险。
例如,华为GaussDB存算分离双集群方案能够实现数据库高可靠容灾,确保RPO=0。OceanBase通过存算分离部署,数据库切换时间可达到秒级(RTO≤8s)。
而云原生数据库,作为数据库领域的“新星”,其架构天然契合“资源弹性管理”的理念。存算分离架构在云原生数据库中更是得到了充分体现。
通过计算和存储的分离,云原生数据库实现了资源规格的灵活控制、应用的多模支持、更优的弹性扩展能力以及有效的成本控制。其中,存储能力的建设尤为关键,它直接关系到数据库的性能与稳定性。
存算分离架构选型评估指标确立,“用”是关键
既然存算分离架构成为金融行业用户数据库选型的共识,那,怎么选,也成了金融行业用户普遍关心的问题。
白皮书建议,在进行数据库存算分离架构选型时,可以通过性能、可靠性、可用性、成本收益、能耗、扩展性、安全性以及运维等一系列评估指标来进行综合比较。
那么,这些指标体系应该怎么“用”?在场专家指出了两个应该关注的方向。其一,数据库存算分离架构选型,绝非简单追求某一指标的极致,而是一场在可用性、可靠性、运维效率与能耗等多个维度间寻求最 佳平衡的系统工程。其二,不同业务系统对指标要求的侧重点有所不同,因此这些指标的选择应根据具体的业务需求和使用场景来确定,以确保所选架构最符合实际应用要求。
此外在实际操作中,对于可用性和可靠性的评估,多依赖于理论推导的方式。然而,这种方式往往难以全面反映实际运行中的复杂情况。因此,可靠性指标应更多地通过实际测试来验证,以确保其在实际应用中的有效性和准确性。只有通过真实的测试,用户才能更准确地评估数据库系统在各种极端条件下的表现,从而帮助用户更准确地了解数据库系统的实际性能,还能够为后续的优化和升级提供有力的数据支持。
同时,我们也必须认识到,在当前环境下,可靠性和可用性的需求日趋严峻。政治风险、环境灾害、病毒攻击等不确定因素时刻威胁着数据库系统的安全稳定运行。这就要求我们在构建指标体系时,必须充分考虑这些风险因素,制定相应的应对策略和预案。
例如,通过存储四层防勒索方案构建数据保护的“最后一道防线”,利用勒索攻击主动监测、存储安全快照防篡改、备份安全数据防篡改等技术,构筑“进不来、打不开、恢复快”三大核心能力,高效保障业务运营安全。通过安全数据方案,打造高安全防篡改存储系统,该系统与生产系统保持实时同步,通过硬件隔离区RPO=0的安全副本留存,确保生产数据零丢失。
最后,一个全局数据可视、可控、可管的IT运维系统作为数据库系统生命周期中不可或缺的一环,其重要性同样不容忽视。存算分离架构凭借其独立扩展与故障隔离的核心优势,为运维工作带来了革命性的提升。它不仅能够提供全局数据统一视图,智能预测硬件亚健康问题、容量或性能瓶颈等,还能根据实际需求灵活调配资源,有效避免资源浪费,更能在单个组件发生故障时迅速隔离,确保整体系统稳定运行,从而极大简化了故障处理流程,缩短了恢复时间。
数据库存算分离架构实施路线怎么“走”
用户在确定选择存算分离架构后,白皮书认为业务的持续平滑演进是实施需要考虑的重要因素,并结合高可靠、高性能、绿色节能等长远目标给出了两种演进方案,分别适用于不同的业务目标。
外置存储的存算分离方案,通过巧妙地将数据库进程与数据分离部署,并依托高性能网络构建统一的存储资源池,不仅强化了数据的可靠性,还赋予了系统根据业务需求灵活扩容的能力。这种架构的精髓在于其资源池化与高效利用:计算层支持多节点横向扩展,无论是裸金属还是虚拟化部署,都能最大化资源效率;而存储层则通过企业级存储保障数据的一致性与完整性,实现了数据高可用性的下沉。此外,该架构对主流数据库类型及多计算平台的广泛支持,进一步提升了其适用性和灵活性。
更进一步,则是采用存算协同的存算分离架构。在外置存储的基础上,通过数据库与外置存储能力的紧密结合,实现了软硬协同的优化升级。这一方案不仅增强了容灾能力,还显著提升了运维效率与成本效益,同时确保了卓越的性能表现。在关键业务系统中,通过存储复制技术实现数据库日志的跨中心强同步,确保了数据的零丢失与即时恢复,满足了客户对业务连续性的极高要求。
对于大库集群的备份挑战,存算协同的存算分离架构通过数据库快照备份接口与存储快照的配合,实现了备份效率的十倍提升,大大缩短了备份窗口,满足了客户对高效备份的迫切需求。
在数据库批量改造与升级场景中,存算协同的存算分离架构同样展现出了其独特的价值。通过数据库与存储的协同工作,不仅有效缓解了存储容量与节点压力,降低了整网建设成本,还实现了集群内多节点共享存储,进一步提升了存储资源的高可靠性与高性能。
更为重要的是,在面对未来业务增长的不确定性时,该架构通过全栈协同(数据库、存储、计算、网络)的方式,实现了计算与存储的池化,以及数据库的多读多写架构,从而达成了极致的性能表现与可扩展性,为金融行业的数字化转型提供了坚实的支撑。
写在最后
在金融科技的浪潮中,数据库存算分离架构的应用实践为金融行业的数字化转型注入了新的活力。从工商银行的突破关键技术到农业银行的策略性推进,再到平安银行、微众银行以及人保寿险等金融机构的积极探索,存算分离架构正逐步成为提升系统性能、增强可靠性和灵活性的重要手段。
通过对这些金融机构实践案例的深入分析,我们不难发现,存算分离架构不仅能够有效解决传统存算一体架构面临的容量瓶颈、资源利用率低、运维复杂等问题,还能够充分利用云计算、分布式存储等新技术,实现资源的弹性伸缩和动态管理,为金融业务的快速创新和持续发展提供了坚实的技术支撑。
然而,技术的革新并非一蹴而就,它需要在实践中不断探索、验证和优化。金融机构在推进数据库架构转型的过程中,必须紧密结合自身业务需求和技术特点,选择最适合的架构方案,并持续优化和迭代,以实现技术效能的最大化。