技术开发 频道

海量数据席卷而来 管理数据是关键

    【IT168 资讯】不知怎么地,大数据,Big Data这个词就变得流行起来。

  处理大数据惯常是属于商业智能(BI)的事情。抽取数据、挖掘数据,制成报表、OLAP、仪表盘、挖掘模型,作为辅助决策之用。不过在BI领域都不这么叫法,大伙儿都说海量数据,Large-scale Data。这听起来还是略显学术气,不如Big Data来的通俗——大数据。这大概是因为如今随处可见的数据,一种爆炸效应带来的结果,已经脱离某种专业的范畴,人们需要用更简单的术语来命名这种数据爆炸。这给不温不火的BI带来一些新的刺激,让BI人看到一些希望。

  以前,不说国内,就算是国外,做BI也大多是局限在几个大行当,电信、金融、零售、政府,他们需要数据来帮助自己理性决策。在国内很长一段时间里,更是仅限于电信和金融两个行当。可是尴尬的地方在于,决策者有时候更愿意相信自己的直觉,而非数据。这种意识虽然逐渐在变化,可从来没有发生过根本的变化。意识的变化是艰难的。当一些新兴行业的介入,他们对数据的利用方式,价值的榨取,让人看到数据分析不仅仅用于辅助决策,而是可以从数据中获得收益了,它已经不再是一种锦上添花的东西了,那正是因为大数据时代的到来。这得感谢互联网以及还未兴起的物联网,在这些行当里面,数据在爆发,不断增长。他们不甘心只是如报表、OLAP、仪表盘之类的分析应用。数据分析部门可以按照推荐系统的点击效果利润分成;交易的数据可以包装成分析服务销售给商户,让他们自己去洞察市场商机;根据用户的点击流行为和上网内容,个性化广告布放等等。

  就在刚过去的9月,TDWI(数据仓库学院)发布了2011年第四季度非常好的实践报告,而这份非常好的实践的主题正是大数据分析。TDWI会通过调查问卷的方式,对全球范围的企业调查,目标对象既有IT人,有业务单位的人,也有咨询顾问。问卷的问题一般都会询问企业应用BI技术的实际情况,现在如何,计划如何。所以,这类非常好的实践报告可以反映出当下某项技术的现状和趋势。报告的内容也遵循一定结构,一下定义,二看现状,三分长短,四谈趋势,最后再来个厂商介绍。同样,这份大数据分析的非常好的实践报告也是如此结构。

  其中关于“大数据”的定义,值得关注。如果我们仅仅从字面上看,大数据似乎跟海量数据差别不大,仅仅是变得更加通俗?并非如此,这份报告给出一些区别,TDWI赋予这个术语更多的含义,更多符合目前数据爆炸时代的含义。

  大数据的3V

  Big Data的3V。大数据有3V的特性。

  Volume、Variety、Velocity。这3V表明大数据的三方面特质:量大、多样、实时。对,不光是数据量大了。对TB、PB数据级的处理,已经成为基本配置。还能处理多样性的数据类型,结构化数据和非结构化数据,能处理Web数据,能处理语音数据甚至是图像、视频数据。实时。以前的决策支持时代,可以用批量处理的方式,隔夜处理数据,等决策者第二天上班,可以看到昨天的经营数据。但现在的互联网时代,业务在24小时不间断运营,决策已经不是第二天上班才做出,而是在客户每次浏览页面,每次下订单的过程中都存在,都会需要对用户进行实时的推荐,决策已经变得实时。

  这个定义非常完美,形式上也很漂亮,3个V。

  可细细想想,这每个方面的V,难道不是传统BI一直在试图征服的嘛?也许所谓大数据时代,是新瓶装旧酒。只是换了一个称呼,而具体要解决的问题,仍是那些存在已久的问题。可毕竟大数据时代轰轰烈烈地,踏着旧的海量数据浪潮而来,而且这将是更高一浪。平常人站在下面,是否会腿脚发软,或是识破浪头的力度,来个漂亮的转身冲浪呢?

  

0
相关文章