技术开发 频道

专访赵伟:南大通用打造云+NewSQL新模式

  云架构变革行业大数据

  关于大数据,业界最普遍的认知是其4V特征,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。南大通用认为大数据主要分为两种类型:行业大数据和互联网大数据,其中行业大数据又可分为经营类、管理类、监管类和专业类。行业大数据的体量与互联网大数据的体量相当,价值密度高于互联网数据。行业大数据的主要应用是分析类的,应采用新的技术架构。正是大数据引发了数据库行业的在整体架构、核心技术、产品形态方面的重大变革。

  GBase 8a的产品定位就是“行业大数据”,并针对云架构做出创新。据南大通用副总裁赵伟介绍,目前南大通用云架构产品是GBase 8a MPP Cluster,其是在GBase 8a列存储数据库基础上开发的基于现代云计算理念和SN架构的并行数据库集群。为超大规模数据管理提供高性价比的通用计算平台,可广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统。

专访赵伟:南大通用打造云+NewSQL新模式
▲行业大数据与互联网大数据

  GBase 8a MPP Cluster基于现代云架构,与传统数据库相比有五大优势:首先是扩展性,云数据库基于MPP架构,相比传统的小型机+阵列方式,扩展性明显增强。其次是处理数据,云数据库由于拓展性强,可拓展至数十PB,而传统的数据库达到百TB数据量后,性能就已经下降明显。再次是灵活性,云数据库采用列存储+智能索引极大增加分析灵活性,解决了传统数据库分析型场景需要大量优化工作灵活性差的问题。还有维护性,云数据库采用集群架构,单点故障不影响可用性。传统数据一旦出现故障整体将瘫痪。最后是建设成本,云数据库采用基于x86+Linux,相比传统系统的小型机方案成本较低。

  赵伟表示,云架构的数据库主要适用场景有四类,分别是:第一,海量数据查询、统计、分析,比如互联网、金融、电信行业等可提供PB级的数据支撑能力。第二,数据仓库支撑,给ODS、EDW、DW提供百TB支撑能力。第三,ROLAP Cube,提供基于星形、雪花模型的多维分析,TB级别的CUBE实时钻取。第四,即席查询、统计分析,基于任何字段组合的随机查询、统计,支撑百TB级别数据量。

  GBase 8a MPP Cluster云数据库目前已经有大量应用,涉及各个领域。电信行业的应用如运营商集中经分项目、省级详单云化改造项目、大云数据库推广项目。政务行业有国税总局金税三期项目、海关总署风险管控项目、银监会、统计局等项目。另外和中兴、用友、中油瑞飞、东软等企业用户有合作项目,提高了其系统应用性能。

  以某运营商集中经分项目为例,项目平台共使用80台中高端服务器,5台万兆交换机,跨7个机柜,测试平台无论从网络部署、测试业务复杂度还是数据量都堪称国内规模最大的集群环境。测试分为64节点集群测试与80节点集群两个阶段。充分展示了GBase 8a集群MPP和SN架构的优势和强大的综合业务处理能力。在所有数据采取压缩入库的基础上成功测试并通过了所有测试用例,数据加载速度达到2.35TB/H,数据查询效率达到同类产品领先水平,并在64节点和80节点扩展性能上有明显的线性提升。目前,系统已经存储和管理了400TB的数据。

2
相关文章