技术开发 频道

海量数据时代,金融行业数据库实践难题如何解决?

  【IT168专访】随着数字经济时代的到来,大数据、人工智能技术得到了快速发展与应用,可以说,各行各业都已全情投入到这一波数字化转型浪潮中,把握新的发展机遇,获取数字红利。其中,金融行业可以说是走在转型之路最前沿的行业之一。

  通过加强数字化基础能力建设,不断推动业务运营模式转型、业务流程的再造升级,融合大数据分析、AI技术实现业务创新,以智能化方式提供更佳的客户体验——金融行业的数字化转型成果已经相对成熟,而且效果显著。

  但当大数据应用细分到技术、架构、业务的每一个层面时,我们也可以看到,金融机构/企业的IT部门在整个项目流程中仍面临着许多挑战。作为数据的主要载体,数据库常常被称作整个IT系统的命脉。在大数据浪潮下,数据库也遇到了新的难题。

  在第十届中国数据库技术大会(DTCC2019)期间,星环科技资深架构师庞博进行了《分布式闪存数据库与图数据库的金融行业应用实践》主题演讲,从金融行业对数据库产品的应用诉求出发,对这两类数据库的应用进行了深入分享。之后,笔者有幸采访到了庞博老师本人,针对金融行业数据库应用话题展开了进一步探讨。

  庞博老师目前在星环负责大数据架构和解决方案的设计规划工作,曾帮助多家大型金融机构构建大数据与人工智能体系化建设。此前曾就职于 Oracle 研究开发中心,负责 RAC、ASM 等数据库底层分布式技术的研究与开发工作。

星环科技资深架构师庞博

  分布式闪存数据库ArgoDB:高效闪存、一站式满足各种诉求

  分布式闪存数据库ArgoDB是星环着眼于目前的硬件发展趋势,全新推出的一款数据库产品。庞博表示,随着闪存以及固态硬盘的成本越来越低,预计在未来的三到五年,这种新的硬件会逐步替代目前的机械硬盘。而软件的设计需要充分考虑硬件的特性,因此星环利用闪存的高吞吐特性,为金融行业打造了这款高性能的分布式闪存数据库产品。

  那么,ArgoDB可以解决企业面临的哪些问题呢?据庞博介绍,随着金融企业业务量越来越多,以及线上产品增多,业务对数据获取和分析的性能及时效性要求也越来越高。“这个时候,我们的科技人员往往会应接不暇,大量的工作都要花费在报表加工或者数据加工中。因此,星环希望通过这种分布式闪存数据库,能够给业务提供灵活、自助的数据探索与分析能力,彻底的去解放我们的科技人员。”庞博说道。

  除此之外,我们可以看到,目前部分企业采用Hadoop+MPP架构混搭的形式,多种数据库穿插使用,这种情况下开发、运维的成本都是非常高的。ArgoDB分布式闪存数据库可以一站式满足企业对大数据平台的各种诉求,包括离线批处理数据仓库、实时数据分析平台、OLAP数据库等等,以此降低金融客户的使用成本,实现大数据平台的高效利用。

  分布式闪存数据库的主要应用场景有两个:第一个是即席查询,也就是根据业务需求灵活选择查询条件,通过编写SQL进行数据探索,发现数据之间的规律,让业务分析师能够借此寻找到新的价值,应用到业务中。第二个是自助分析,业务人员可以结合BI工具自助地获取数据信息,进行表达多表关联,从而获取数据洞察。

  分布式图数据库StellarDB:克服海量关联图数据存储难题

  图数据库与传统的关系型数据库有非常大的区别,在传统的关系型数据库中,对这种关联关系的发现,通常需要对表进行JOIN的操作。但现在大部分金融机构如银行中,包括客户表、交易表、以及账户表等等,数据量是非常大的,当要进行这种大表的关联时,在传统关系型数据库下效率是非常非常低的。而图数据库则是针对这种关联关系的探索场景而设计的,有非常好的查询及分析性能。

  “目前一些开源的图数据库产品对海量数据的支持度不是很好,在点和边规模很大的情况下,一些图算法是无法计算出来。星环结合了自身擅长的分布式技术以及自研的算法,打造了一款分布式的图数据库StellarDB,有非常好的扩展性和易用性,整体提升了图分析性能,让金融企业能够运用在更多的场景下。”庞博介绍道。

  如今,越来越多的金融应用场景会使用到图数据库。尤其是近年来热度较高的知识图谱,它通常需要一个强大的图数据库作为底层支撑。除此之外,在图数据库营销层面上也有广泛应用,如对营销关系的相互关联、发现更多营销可能性、增加客群,以及反欺诈、反洗钱等等。

  庞博表示:“星环是希望通过我们自身在分布式上面的研究提升图数据库对海量数据的支持;同时结合我们在反洗钱、反欺诈及营销方面的业务经验积累,自研的分布式的图算法让我们的金融客户可以直接运用到业务流程中实现业务价值,整体降低图数据库的使用成本。”

  大数据时代下的数据库:实时、灵活、智能

  在技术的不断更新与迭代之下,整个IT世界都处于快速变化的状态。企业IT环境越来越复杂,业务运行不断提出更高的需求,在这样一种态势下,准确把握数据库技术的未来发展趋势是非常重要的,对于IT系统的升级也有指导性意义。

  对于大数据时代下数据库行业的发展趋势,庞博老师也给出了自己的分享,他说道:“随着技术的发展,人们使用、操作金融产品的方式肯定会随之改变。比如,我们预计未来大多数金融产品的操作可能都在移动设备上。而且随着移动技术的发展,比如5G技术的引入,我们肯定会面临非常庞大的数据量增长。应对这么大的数据量,以及时效性和智能的需求,我觉得未来,数据库肯定会朝着实时化、灵活化以及智能化的这个方向去发展,以便适应新时代的发展趋势。”

  最后,作为DTCC 2019的演讲嘉宾,庞博分享了自己参加本届大会的感受。通过参与多个主题的聆听,庞博表示:“各位技术大拿分享的主题都是非常有料的,而且非常有趣。整体的组织方式也是以主题分享、培训以及行业的应用分享三个方式去提高,我觉得这种方式让我们在其中有非常好的感受,也了解到了非常丰富的、各个行业的知识。非常感激组委会的邀请,(我)有幸能参与这本次会议。”

  了解DTCC 2019更多资讯,请关注第十届中国数据库技术大会专题报道

1
相关文章