【IT168 专稿】大数据是什么?Gartner认为,大数据是超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力。麦肯锡认为,大数据是指大小超出了典型数据库软件工具收集、存储。管理和分析能力的数据集。对于大数据而言,每个时代都有它自己的定义,大数据的界定会随着技术的进步而不断发生变化。
然而,不管是哪种定义,似乎都否定了传统数据库在大数据市场的作用。面对不断增长的数据量和多样的数据类型,很多企业用户选择NoSQL和Hadoop替代原有数据库,Facebook和Twitter就是这其中的典型。据IDC预计,2015年大数据技术和服务市场将增长至169亿美元,年复合增长率达40%,大量创新型企业涌入大数据市场,威胁到传统数据库厂商的地位。
传统数据库厂商陆续支持Hadoop
“以不变应万变”不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场。以Hadoop为例,传统数据库厂商纷纷推出各自的大数据解决方案,这其中涉及最多的就是Hadoop技术。
·Oracle:甲骨文公司在数据库领域一直处于领先地位,其旗下的Oracle数据库是一款最受欢迎的关系型数据库产品。甲骨文公司全球副总裁、大中华区技术总经理喻思成曾表示,甲骨文公司更专注的是结构化的工具和RDBMS平台,但在过去的一年中,甲骨文公司也开始走进大数据时代。事实也的确如此,甲骨文公司意识到Hadoop在大数据处理方面的潜力,推出以Hadoop为基础的大数据机(Big Data Application),其中包括开源Apache Hadoop、Oracle NoSQL数据库、Oracle数据集成Hadoop应用适配器、Oracle Hadoop装载器以及开源R,并与Cloudera公司合作提供Apache Hadoop系列软件。
·IBM DB2:IBM是关系型数据库的创造者,对数据库的诞生和发展举足轻重,然而处在大数据的新时期,老牌关系型数据库也需要不断创新、迎接挑战。IBM中国研究院院士、首席技术官王云曾在2012中国数据库技术大会上表示,大数据不能用传统方法处理,传统关系型数据库起源于OLTP功能,能够保证数据准确记录;而大数据是新的应用,是OLAP的体现,这也是关系型数据库不能满足大数据的原因。IBM推出的大数据平台包括Hadoop和Stream Computing两个组件,通过新的路径解决大数据分析处理。
·SQL Server:微软作为全球知名的软件公司,在数据库领域的地位不容小觑。微软SQL Server 2012引入Hadoop,帮助客户无缝存储和处理所有类型的数据,包括结构化、非结构化和实时数据。除此之外,微软还将同时在Windows Azure平台和Windows Server上提供 Hadoop,形成完整的大数据解决方案。正如微软亚太研发集团首席技术官孙博凯所说,微软与Hadoop是一个强强组合,能够把Hadoop的高性能、高可扩展与微软产品易用、易部署的传统优势融合到一起。
·SAP:SAP公司是全球知名的企业管理软件供应商,自2010年SAP收购Sybase以来,开始成为数据库界一颗冉冉升起的新星。SAP将数据库技术作为2012年重点发展领域之一,形成了以SAP HANA为核心,以SAP Sybase数据库为基础的大数据战略。在这一战略中,特别重要的一环就是Hadoop。通过SAP HANA和SAP Sybase IQ与Hadoop的集成,增强对Hadoop等大数据源的获取能力,并提供深度集成的预处理基础架构。
·EMC Greenplum:EMC是全球知名信息存储服务提供商,与SAP相似,在2010年收购了Greenplum,开始发展其数据库市场。目前Greenplum的数据库产品包括传统的Greenplum Database和Greenplum HD(Hadoop),前者用来应对企业结构化数据,后者可以将非结构化数据导入Greenplum中进行存储和分析。EMC在中国的市场战略,以“大数据推动业务转型”为核心,EMC数据计算产品部大中华区总经理刘伟光曾对笔者表示,EMC之所以会推出Greenplum Hadoop版本,是对Hadoop的未来发展前景充满信心。
除了以上提到的五款主流数据库,仍有越来越多的传统数据库厂商正在加入Hadoop阵营,这其中还包括Teradata、Informatica、Pentaho、Talend等数据库、数据仓库及商业智能服务提供商。此外,Hadoop还是NoSQL数据库的主要架构之一。
传统数据库的大数据解决方案
除了支持Hadoop之外,传统数据库厂商还纷纷推出了各自的大数据解决方案,提供端到端的大数据服务和支持。
·甲骨文:在2011年的Oracle OpenWorld上,甲骨文宣布推出Oracle大数据机(Big Data Appliance,简称BDA)和Exalytics商务智能服务器,再加上2008年发布的Oracle Exadata数据库云服务器,为用户提供一个端到端的大数据解决方案。
在捕获大数据的环节,甲骨文提供了两款产品:Oracle数据库和Oracle NoSQL数据库。在大数据的组织环节,甲骨文提供了Oracle大数据机、Oracle大数据连接器和Oracle Data Integrator三款产品。 在大数据分析阶段,Oracle提供了Oracle Exadata数据库云服务器、Oracle Exalytics商务智能云服务器、Oracle数据仓库和Oracle高级分析等解决方案。
·微软:微软端到端的大数据解决方案可以总结为SQL Server、Windows Azure和Hadoop,用微软自己的话说就是数据管理、数据扩充和洞察力。在数据管理层中主要包括三款产品:SQL Server、SQL Server并行数据仓库和Hadoop on Windows。在数据扩充层,微软提供的最重要的平台是Windows Azure Marketplace。从洞察力的层面,微软提供了两款主要的产品,分别是Office Powerpivot和SharePoint Power View。
·IBM:IBM大数据包括非常丰富的产品线,并结合软件、硬件、咨询服务和研究的最新技术。总的来说,IBM大数据解决方案包括“大数据平台”和“大数据分析”两个方面,其中“大数据平台”提供的是大数据管理和整合治理能力,“大数据分析”提供的是利用数据获取价值和洞察力的能力。
·SAP:SAP实时数据平台整合SAP HANA和Sybase的一系列数据库,涵盖SAP Sybase IQ、SAP Sybase ESP、SAP Sybase ASE 和SAP Enterprise Information Management等数据管理功能,为大数据的收集、存储、处理、消费等完整的信息生命周期提供支持。
小结
正如《大数据时代》一书的作者维克托•迈耶-舍恩伯格所说,在大数据时代,中小规模的创新公司更容易获得成功,因为它们更有创意、行动更敏捷。这让传统数据库厂商和创新大数据公司站在了同一起跑线上,在大数据的世界里不分伯仲。但传统数据库厂商积累了几十年从事数据处理和分析的经验,从技术实力和用户粘性上来看,仍然具有很大优势。