在数字化转型浪潮席卷全球的今天,金融行业对数据库架构的需求日益复杂且多变。数据库不仅是金融业务的基石,更是驱动业务创新与发展的核心引擎。面对这一挑战,如何构建既能满足当前业务需求,又能灵活应对未来变化的数据库实施架构,成为了金融机构和数据库领域专家共同关注的重大课题。
在此背景下,《2024 年金融数据库技术大会》汇聚了众多行业精英与专家,共同探讨数据库技术的最新进展与未来趋势。笔者有幸参与其中,通过深入访谈数位金融行业的一线用户及业内权威人士,结合近期数据库领域的热点话题与前沿动态,精心整理出本文,旨在与广大数据库领域的同仁分享关于数据库架构服务于金融机构业务需求的深度洞察。
构筑金融数据基石:以“稳”为核心,深化“五篇大文章”策略
金融活,经济活;金融稳,经济稳。在金融与经济的紧密共生关系中,金融的活力直接映射为经济的活力,而金融的稳定则是经济稳健前行的压舱石。面对金融业务系统架构选型的关键抉择,稳定性与可靠性无疑是不可动摇的底线。如何在这一复杂多变的背景下,精准破解选型焦虑,成为行业内外共同关注的议题。
对此,行业主管机构的观点是:数据库是金融高水平自立自强的重要载体,也是薄弱环节。应对新应用、新场景,金融基础设施承载的数据量跃升还需要高质量的技术架构,满足提供性能和扩展性需求。
金融业数据量持续增长,数据库类型多样,快速处理大规模业务数据给数据库产品提出了挑战。持续提升开源软件的风险管理与治理能力,理清底层技术源头清单,确保行业应用安全。建议加强核心场景打磨,提高数据库系统的成熟度。降低系统整体成本,提高资源利用率。需要提高同城和异地切换能力,实现数据安全与运维的智能化。金融数据库系统正在从可用走向好用的关键过程中,数据库的供给、维护复杂度高,基础设施的监控能力还需要完善。需要从降低数据库系统运维的难度,减少人为失误。
基于多位行业专家的分享与深入讨论,归纳了当前国产数据库在金融业务系统应用过程中的一些问题和解决思路。
1、部分数据库实施方案资源利用率低,扩展性受限
当前众多大型金融机构使用了国产或开源分布式数据库,采用了服务器本地盘存算一体的部署方式,计算与存储资源的紧密绑定,使得资源无法灵活调配,大量宝贵资源因此闲置。以微众银行为例,80%左右的服务器CPU平均利用率竟然不到10%。对于扩展性,由于计算和存储强绑定,存算一体架构不可避免地存在CPU的争抢,有限的CPU在业务繁忙的情况下往往顾此失彼。
在扩容时,计算和存储资源扩容不可能一致的同比例被消耗,势必导致一边资源出现浪费,无法实现资源的按需扩张。面对这一困境,民生银行率先采用了数据库存算分离架构,成功打破了计算与存储资源的绑定,实现了存储资源和计算资源的独立扩展。这一创新实践不仅解决了存储容量上限的问题,更在资源整合和成本节省方面取得了显著成效。民生银行的资深数据库专家指出,尽管存算分离架构在实践中遇到了诸多挑战,但其带来的资源整合效益和成本降低优势是推动这一架构演进的关键所在。
2、高并发和大数据量处理场景使数据库系统维护压力倍增
华泰证券平台研发中心负责人表示,随着业务对数据处理能力要求的不断提升,存算一体架构容易造成性能瓶颈,特别是在高并发和大数据量处理的场景下,其性能短板愈发明显。
在运维方面,成本、难度不断提升。存算一体架构在数据库升级和维护过程中,可能会因硬件故障等问题导致更高的维护成本和业务中断风险。微众银行在分享中指出,本地盘服务器故障率较高,节点数据重建需要全量拷贝,重建2TB的数据库节点就需2小时。这一过程不仅效率低下,而且耗时较长,对企业的业务连续性构成了严重威胁。中国光大银行金融科技部数据库专家透露,在升级改造中,分库数量超过15个,分表数量超过500张,这些都大幅增加了运维难度,甚至需要专门开发运维平台来应对系统复杂度的提升。
3、可靠性、可用性及安全需要依赖软硬融合的存算分离架构
微众银行指出,其业务部门对数据中心基础架构提出了99.999%的严苛要求,其核心系统每秒交易量通常在1000至3000笔之间,任何一秒的系统中断或不可用都可能导致上千笔交易损失及用户流失。传统存算一体架构下的x86服务器,可靠性仅能达到99%。
微众银行存算分离架构在部分核心业务系统上线的显著成效,未来将在更多系统上线以及逐步替换存量业务数据库。微众银行实践让以在场金融行业代表对国产数据库存算分离架构加强了信心。
与之观点类似的还有农业银行,在去年启动了存算分离试点后,完成涵盖信贷管理、资金转账、金融市场交易等多个关键领域各类不同灾备级别系统的投产运行,覆盖京、沪、蒙三地多中心。自投产以后系统运行稳定,各项关键性能指标与功能需求均满足各类业务和技术要求,这也是今年农业银行大范围的推广存算分离架构的关键所在。
4、存算分离、软硬深度协同是金融数据安全基础架构
大会上华为云数据库专家坦言安全是金融业务最核心的诉求。GaussDB构建了完善的5级防勒索体系,通过全密态安全能力和黑匣子能力,实现数据的全密态安全防护、防泄漏、防篡改、防勒索,让数据得到完整性和可用性保护,并通过软硬协同优化,对数据进行高等级的安全同步备份和无损恢复。
存算分离架构作为金融业务安全的成熟选择,为数据库用户企业带来了显著的成本控制、数据运行效率提升和系统安全可靠性保障。以微众银行为例,通过采用存算分离架构配置外置专用存储池,其数据可用性达到了99.999%,实现了两个数量级的提升。这一设计不仅确保了业务在极端情况下的连续运行,还为用户提供了近乎不间断的服务体验。
中国农业银行在选择存算分离架构时,也是基于技术维度的深思熟虑。为了更好地适应企业级需求和挑战,农业银行特别注重产品的稳定性、性能以及与现有运营架构的配合。存算分离架构在这些方面展现出的潜在优势,正是农业银行所看重的。
面对当前人为破坏为主的安全新趋势,根据诺斯罗普·格鲁曼纵深防御模型,存储成为了数据保护的最后一道防线。通过存算分离架构,可以实现对勒索软件恶意修改数据行为的最敏捷感知与应对,确保病毒“进不来、改不了”,数据“可恢复”。这一防护体系的每一层延伸,防护效果都会得到数量级地提升。存算一体还是存算分离,不只是架构选型的区别,还体现在防护效率的天差地别。
“存算”要分离,产业发展须“合力”
2024年金融数据库大会凸显了产业合作的重要性,与会嘉宾不约而同强调“存算分离”。会上有金融机构历数存算一体架构业务连续性、资源扩展性、资源利用率、节点重建效率四大痛点,并正式对国产数据库提出了三大路标的要求。
由金融信息化研究所联合多家金融机构和厂商共同发布的《金融数据库存算分离架构选型白皮书》正式发布,明确提出分布式、集中式、云原生数据库的存算分离部署参考架构。开放解耦的存算分离架构能够根据业务需求实现计算和存储资源的独立扩展,提供灵活的弹性扩缩容计算能力,同时利用存储的高可靠性优势,进一步提升整个集群处理海量数据的可靠性,成为数据库架构优解。2023年10月同样是在金融信息化研究所的带领下,金融多主数据库应用行动计划启动,2024年4月,华为云、奥星贝斯、腾讯云三大数据库巨头共同发布数据库存算分离实践案例。本次《白皮书》通过以工商银行、农业银行、微众银行为代表的多家金融机构的实践案例,为金融业和非金融也的数据库部署提供了重要参考。
“存算分离架构”这一术语,对于众多用户而言,并不陌生。20世纪,随着关系型数据库的蓬勃发展,以IBM小型机、Oracle数据库和EMC存储为代表的“IOE”架构,不仅奠定了金融业信息化应用的基础,还推动了金融业集中业务处理的区域性数据中心的建设,成为金融业数据库“安全”与“高效”基石。然而,20年前的I/O瓶颈,如传输协议和带宽能力的限制,如今已被彻底打破。
国产化数据库存算分离架构并非是对IOE架构的简单复制,而是围绕技术革新、基于业务需求、以数据安全为中心的全面升级。在存算分离架构下,数据库与存储实现了深度合作,优势互补:弥补了数据库厂商基本对南向提升数据高可用、高效率管理能力的不足,使其更容易达到金融核心原位升级替代的要求。
拥抱存算分离架构,深化数据库与存储合作正成为行业共识,我们有理由相信,存算分离架构将在金融核心数据库领域发挥更加重要的作用,为金融行业的数字化转型和高质量发展贡献更多智慧和力量。而这一切的起点,正是回归业务本质、以实践为导向的创新精神。