技术开发 频道

支撑行业大数据应用 MPP数据库技术浅析

  【IT168 专稿】2014年4月10日-12日,第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区,已经连续举办了四届中国数据库技术大会,每届大会与会规模超千人,大会云集了国内水平最高的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群,是目前国内最受欢迎、人气最高的的数据库技术交流盛会。今年是中国数据库技术大会五周年,大会将继续秉承分享IT非常好的应用实践的宗旨,围绕传统数据库和大数据两条技术主线,在目前IT技术和管理快速的大背景下,更加深入地探讨数据库技术的现状和未来的发展方向,以及我们在这个转型过程中的实践经验和教训。

南大通用CTO:MPP数据库技术浅析
▲南大通用CTO武新

  在4月11日下午举行的《NoSQL\NewSQL应用实践》专场演讲中,来自南大通用的CTO武新老师为我们分享了关于MPP数据库技术的相关话题,包括MPP数据库技术、GBase 8a MPP Cluster特性、GBase 8a MPP Cluster行业案例,以及MPP与Hadoop混合架构等等。

  MPP定义、目标及特性

  武新老师表示,MPP既大规模并行处理系统,系统由许多松耦合处理单元组成的。其中,每个单元内的CPU都有自己私有的资源,如总线、内存、硬盘等。在每个单元内都有操作系统和管理数据库的实例副本。这种结构最大的特点在于不共享资源。

  MPP架构数据库应具有的特征:

  ● 任务并行执行;

  ● 数据分布式存储(本地化);

  ● 分布式计算;

  ● 私有资源;

  ● 横向扩展;

  ● Shared Nothing架构。

  据悉,横向扩展是MPP数据库的主要设计目标,MPP数据库的核心包括支持严格的关系模型,比如SQL92、加扩展、加存储过程;支持事务、保证数据强一致性;数据存储格式和存储分布优化;深度优化的分布式、单节点SQL优化器。

南大通用CTO:MPP数据库技术浅析

  MPP数据库所解决的问题包括提升数据处理性能、提升数据处理量、提升海量数据处理的TCO以及降低处理每一个TB的整体成本。此外,在设计MPP架构的新型数据库,需要考虑并解决三大问题,即木桶效应问题、Domino效应问题以及数据倾斜问题。

  GBase 8a MPP Cluster特性

  谈到GBase 8a MPP Cluster特性,武新老师主要介绍了列存储、高效自适应压缩、智能索引以及高可用机制等。在高效自适应压缩方面,其特征主要表现在压缩比可达到1:20,远远高于行存储;压缩算法按数据类型和数据分布不同而优化,自动选择最优压缩算法;实现库级,表级,列级压缩选项,灵活平衡性能与压缩比的关系。压缩优点包括可节省90%的存储空间,大大降低TB数据处理能耗,以及压缩态下对I/O要求大大降低,数据加载和查询性能可以进一步提升。

南大通用CTO:MPP数据库技术浅析

  GBase 8a MPP集群数据库新版功能

  武新老师表示,GBase 8a MPP集群数据库新版的设计目标是基于通用硬件、支持PB级别的大规模数据仓库、集市、分析决策系统,支持行业大数据应用。其主要功能将包括:

  ● 行列混合存储技术;

  ● 集群间数据高速交换、复制技术;

  ● 超大规模数据库备份技术;

  ● 数据库内置全文检索技术。

1
相关文章