向前看,趋势和方向
1) 互联网领域NoSQL应用成为主流
在互联网应用领域,特别是web2.0网站的一些常见需求,比如数据库高并发读写、海量数据的高效存取、高可用性及高扩展性架构等,传统RDBMS应对这些需求时异常的艰难,或者实现成本极为高昂。
NoSQL运动在2009年出现井喷,经过三年的蓬勃发展,发展出了众多不同应用场景的产品,其所拥有的高效海量数据处理能力、高并发存取和简便的横向扩展等特点,非常适合互联网应用。笔者认为,在互联网领域,未来大部分数据库市场有可能会被NoSQL产品占领。但是,有必要重申NoSQL的原意,并不是NO SQL,而是Not Only SQL,它并不是要取代目前广泛应用数十年的传统数据库,在一定程度上,它也会与传统RDBMS产品相配合。最终所采用的技术模型,关键还是取决于产品的各个模块,在可靠性/一致性与高性能之间的取舍了。
2) “云计算”正步入实质性阶段
中国古典名著“三国演义”的开篇有这样一句话:话说开下大势,分久必合、合久必分。从大的趋势上来说,数据库系统发展的这二三十年,也大致符合这一规律。
在上个世界的七八十年代,广泛的应用需求再加上产品的空白,促使市场产生了各类的数据库模型:层次型、网状型、关系型,并诞生了多家数据库系统软件厂商。到了上世纪的八九十年代,大型网络和计算环境的普及,又使得相关企业的需求趋同,最终造就了像ORACLE、DB2、Sybase这类的大型关系型数据库软件厂商。到了本世界初,随着互联网时代的到来,当下应用需求再次趋向多样化,多数企业更需要灵活、轻便,功能更切合自身需求的数据管理系统,而不是即大又全、价格还昂贵的通用系统。
对于数据库软件厂商来说,这即是挑战也是机遇,在当前数据库市场基本成熟,市场增速放缓的现状下,只有变化才能产生新的机会,NoSQL运动当下的兴起,又何尝不是因为暗合这种需求呢。
而随着互联网业务的迅猛发展,数据规模急剧的膨胀,与之对应的IT硬件更新速度完全无法与之相比,存储和管理海量数据已越来越成为亟待解决的问题,云计算的概念也是由此应运而生,在这方面,NoSQL所具有的高性能、高可用性、高扩展能力非常适合“云”的需求,也是目前“云数据”应用的主力。
尽管有观点认为,关系型数据库不合适用于云计算环境,但传统的RDBMS软件厂商并不甘于沉寂,都在加紧推出自己的应对方案,Oralce企业云基础架构解决方案将Oracle的Linux操作系统、虚拟化平台、ZFS存储设备和Sun刀片服务器硬件整合在一起,被设计用来与Oracle企业管理器协同工作,并且据称Oracle Database下一个版本,极有可能定义为12c(c即cloud)。蓝色巨人IBM也不落人落,推出的“蓝云”也是软硬件结合。Microsof虽然没有自己的硬件产品,不过由于其拥有全球最多的软件用户,影响力不能小视,有消息称在即将发布的代号“Denali”的新版SQL Server,将引入一个专为Visual Studio准备的开发工具,在企业与SQL Azure云端数据库之间,架起应用程序开发与部署的桥梁。Sybase IQ则宣称其主推的列式数据库更适合云计算时代的数据存储。亚马逊更是在今年2月份即已宣布,旗下的Relational Database Service服务于今年第二季度开始支持MySQL数据库。
云计算已经成为未来海量数据管理的重要方向,从成本和性能两方面考虑,会有越来越多的企业愿意把自己的数据中心转移到公有云或私有云。
3) 数据仓库领域大有可为
虽然在新兴互联网业务模式下,相比时下火热的NoSQL产品并不占优,但在数据仓库应用环境下,传统的关系型数据库仍占据着重要的市场,并且笔者认为在未来很长一段时间内,都仍将占据着主流的位置。
根据Gartner今年2月发布的最新报告表明,在数据仓库领域,数据库管理系统中ORACLE、IBM、Sybase(SAP)等都处于魔力象限的领导者象限,Microsoft公司的Sql Server处于挑战者象限,但纬度已经非常接近领导者象限的范围。
NoSQL阵营也有产品入围,并且表现出色,Greenplum(EMC)也处于领导者象限,但相比在互联网领域相同阵营产品的,在数据仓库领域中就显得比较孤单。
笔者认为这与厂商的投入有关系,ORACLE数据库做为关系数据库领域最强大的数据库软件,有完善的数据仓库解决方案,并且ORACLE公司于2007推出Exadata V1,在产品发布时就明确专用于OLAP,剑指竞争对手Teradata。随后推出的升级版本V2在增强配置及功能的前提下,将OLAP应用也囊括其中。据ORACLE自己发布的统计数据来看,硬是生生地从数据仓库领域的老牌领导者Teradata中抢占了不少市场。
而另一个巨头IBM则是即有DB2这样的关系型数据库软件,也有于2010年收购来的数据仓库与数据分析专业厂商Netezza,合力在数据仓库领域拼抢市场。Sybase做为首家推出基于列存储的关系型数据库软件,其主推产品Sybase IQ提供多个颇具特色的技术,包括Bit-Wish索引技术,预连接(PReJoin)策略,得益于列式存储所带来的数据压缩和并行处理的高效等等。
4) DBA变身架构师
关系型数据库仍然主流的时代,工程师们往往只需要专注于所使用的数据库产品的特性及相关维护工作上,但在现如今这样一个信息大爆炸的时代,生成海量数据的应用遍布四周,虽然同样还是面对数据,但不同的应用有各自不同的特点和需求,各种模型各种实现也纷纷兴起,越是大型的应用,越会面对复杂的存储层管理需求,工程师就需要有能力根据应用的特点,使用不同技术满足不同应用的需求。
有需要采用cache层处理的,有需要Key Value数据库支持的,有应用列式存储的,有支持海量文件的,也有管理重要数据的关系型数据库。如GoldenGate这类数据集成软件的应用,也会将产品中数据在不同平台流转的现象变的更为普遍。
软件越来越丰富,版本也不停在升级,功能不断在增强,智能化程度越来越高,技术产品确实越来越易用,工具也会越来越简便,但这个行业正变的越来越复杂,DBA必须做好从维护传统的单一平台系统到架构师的转变,储备更多的“食粮”应对新时代下的不同需求。