技术开发 频道

联动优势:PureData数据中心案例分享

  【IT168 专稿】近日,主题为“行胜于言”的2013 IBM大数据与分析高峰论坛在北京举行,会上正式发布了大数据分析加速技术BLU Acceleration以及面向Hadoop的PureData版本,同时,IBM大数据平台的旗舰产品BigInsights、Streams、DB2、Informix的升级版本也在本次大会上亮相。IBM全球副总裁兼大中华区软件集团总经理胡世忠、IBM全球副总裁兼IBM中国开发中心总经理王阳、IBM大中华区系统与科技事业部技术总监李永辉等IBM高层出席了此次大会,分享了IBM大数据与分析创新技术的最新进展。

  在当天下午的媒体专访中,记者采访了IBM软件集团大中华区信息管理总经理卢伟权先生、IBM软件集团大中华区PureData及IBM Big Data销售总监肖冰先生,以及联动优势市场与战略合作部总监凌翔女士,共同分享了联动优势数据中心项目的实施经验。

大数据驱动筹建统一数据中心
▲联动优势市场与战略合作部总监凌翔

  大数据驱动筹建统一数据中心

  联动优势是中国知名家移动和银联成立的合资公司,在中国是最早从事移动支付的一家公司,也是IBM PureData和Netezza在中国的第一个客户。自2003年8月份成立到现在,拥有一家母公司和一家全资子公司,在全国有18个办事处和分支机构,包括全国统一的数据中心和呼叫中心。联动优势是中国移动手机银行卡支付业务最主要的服务提供商,目前已经形成跨电子支付、金融信息服务和电子商务三大领域经营的综合型企业,涵盖电子支付、金融信息服务和电子商务三大领域经营内容。2012年底,公司整体业务收入达到了同比20%以上的增长。

  据联动优势市场与战略合作部总监凌翔女士介绍,从公司的整体业务模式来看,主要有两个传统业务,即综合支付和信息服务。在综合支付服务的第三方支付公司中,联动优势是唯一一个集银行卡和通信账户支付为一体的综合支付平台,中国移动的手机支付业务也是由联动优势承担统一的运营服务。从支付整体合规的角度来说,2011年1月联动优势成立的全资子公司——电商服务公司,是为了符合央行第三方支付牌照的许可。联动优势的信息服务业务,向全国所有金融机构的持卡人发送相应的信息通知服务。自2008年起,累计服务用户超过5亿,基本上全国所有大型银行都是联动优势的客户。

  作为跨金融和电信两大行业的企业,联动优势在数据构成上也具有复杂性大、维度多样、实时性强等两个行业的特征。随着业务的扩展和战略转型的推进,公司对于基于各类数据的业务应用的需求不断增加。从2011年起,联动优势进行全面的战略转型,转型的核心要义是建立公司统一的数据中心,兼具足够的数据吞吐能力和卓越的数据整合能力,能够最大效率的对公司层面所有的业务数据进行整合、统一数据标准,从而实现数据管理、业务分析和决策支持。

大数据驱动筹建统一数据中心
▲联动优势数据中心项目时间轴

  在此背景下,联动优势选择了IBM作为数据中心建设的合作伙伴。该数据中心项目与2011年9月启动制定软硬件招标方案,并选择IBM作为PMO的实施方。2011年12月,与IBM专家一起对内部60名员工进行高级访谈,60名员工涉及到各个业务线,包括技术、运营、网管以及HR和行政各个部门的负责人,对即将实施的数据中心项目的需求进行了详细的访谈。2012年2月进行了基础的搭建工作,并选用IBM的Information Server作为数据同步工具。

  自2012年5月系统正式上线至今,联动优势根据自身业务需求与IBM共同打造平台建设总体规划,建立了目前这一高性价比、简单、易于安装、能够对TB级数据进行快速运行分析的数据平台系统。基于PureData技术Speed(快速)、Simple(易操作)、Scalability(可扩展)和Smart(智能)的“4S”的优势,PureData for Analytics为联动优势数据中心建设提供了强大的数据仓库解决方案和高效的数据分析基础。目前,已经进入到了非常流畅的数据中心的使用运营和二期规划的阶段。

  新旧数据中心的对比

  在数据中心建立之前,联动优势运用的是一套公司自建的经分系统,是初创时期用PC Server搭建的DB方式建立的数据库模型。这一经分系统需要大量人工,存储最多也只能支持半年的经营数据。为了服务移动和银行的客户,需要大量人员在夜间进行批量作业,提取数据进行分析。面对分散在不同子系统中的TB级数据,传统的数据仓库无法实现快速的查询和关联数据整合;经营分析系统也无法高效应对公司多个业务线数据交叉分析的需求和企业内部精细化管理的要求,为业务人员提供更多维度、更精细的数据。

新旧数据中心的对比
▲新旧数据中心比较

  凌翔表示,自从选用了IBM PureData之后,一体机的整体方案使其维护起来非常方便,几乎不用DBA。在存储方面能够支持三年的数据,最大的表格能162G,50多亿条数据。计算速度也得到极快提高,四小时内就能完成过去夜间整体的工作。凌翔表示,目前企业多个部门,包括业务部门、技术部门和网络维护部门的同事每天发起1千次需求或者使用的请求给数据中心系统。因此,数据分析的理念已经渐渐深入人心了。

新旧数据中心的对比
▲IBM软件集团大中华区PureData及IBM Big Data销售总监肖冰先生

  IBM软件集团大中华区PureData及IBM Big Data销售总监肖冰先生表示,传统的处理方式数据源比较单一,数据是结构化的,数据要存在磁盘阵列里,成本也很高。随着技术的不断进步,现有技术能够处理那些不能处理的数据,以及大量不同数据源的数据。因此IBM的大数据解决方案既包括对传统结构化数据的处理技术,也包括对流数据、非结构化处理的解决方案,如Streams流计算、BigInsights等。

新旧数据中心的对比
▲IBM软件集团大中华区信息管理总经理卢伟权先生

  IBM软件集团大中华区信息管理总经理卢伟权先生介绍,此次发布的大数据和分析解决方案,PureData for Hadoop是大数据的一体机,是市场上第一个用Hadoop平台做一体机的产品,能够帮助客户更快、更有效地实现大数据平台。另外,DB2 10.5、BLU Acceleration也是很重要的产品,将列和行的技术结合在一起,整个报表速度提升了几十倍,并且不需要改变数据的格式。

  据了解,PureData for Analytics从机器移入机房到插电只需要一天时间,就可以真正投入使用,没有复杂的软硬件安装配置。另外,PureData for Analytics大大减少了DBA配备,量化下来,平均只需要0.5位DBA就可以完成运行PureData for Analytics的全部工作。

0
相关文章