【IT168 评论】美国福布斯杂志最近发表了一篇Irfan Khan的署名文章，“The Big Lie About Big Data”，Irfan是SAP Sybase公司全球CTO，负责SAP公司全球的数据库战略方向。

▲SAP Sybase公司全球CTO   Irfan Khan

　　题目很吸引人，甚至可以说有些“耸人听闻”，但是读下来，其中有很多观点倒是和我前一段在“通讯行业云计算峰会”上发表的一些言论相似，我认为“大数据”这个词现在非常火，但是某种程度上不过是过去30-40年来对数据管理和数据处理挑战的理解、认识的新一轮说法。当然，每一轮的说法不一样也并不是完全意义上的重复，循环式上升，毕竟每一轮的硬件、软件、网络、业务的关注点都不同，数据量的确是个硬指标，30年前提“数据仓库”概念时的挑战和现在的挑战不可同日而语，10年之后再看现在的“大数据”也许也会一笑而过，到那时，我们似乎才可以明白，这一个轮回的真正意义。

　　以下是文章的翻译稿，供大家参考：

　　天又一次塌下来了。这一次是“大数据”让IT部门如临大敌。但是就像“世界末日”和“外星人”一样，“大数据”是虚构的，是一个“大谎言”。

　　正如街谈巷议的传闻一样，不管你走到哪里，关于“大数据”的讨论无处不在。在Google搜索这个词组，搜索结果超过13亿条。它甚至在维基百科拥有专门的条目。数据泛滥导致很多人得出结论：企业将不堪重负。这并不是说企业内部的信息量不会增长。相反地，企业内部信息量也难逃增长的命运。因为，大数据一直是个难题。

　　尽管不断有人声称，数据洪流将导致厄运来临，但IT行业却始终能够通过改进计算基础架构，使它们速度更快、容量更大、价格更便宜、体积更小巧，从而让挥之不去的信息“大决战”预言不攻自破。

　　今天，通过使用列式数据库分析架构，组织机构可以不必过度对“大数据”带来的焦虑，相反，还能够让“大数据”更好为企业运营服务。在列式数据库中，用户可以随时调用和分析大数据集，即使对诸如非结构化数据等各种数据类型的大数据集亦是如此。它们不仅随时可用，而且执行速度更快，还能根据工作要求，更方便地扩展，从而为尽可能多的用户服务，涵盖尽可能多的数据。

　　这种做法其实就是挖掘组织机构内外部的“大数据”，并提取有价值的部分供企业使用。它的目的是让组织机构更灵活、更具竞争力，提高组织机构的盈利能力。

　　对于部署一个分析数据仓库而言，最重要的步骤之一就是找到质量合格的数据。从数据净化到采用数据管理总策略——用于确保数据质量的技术已经成熟。获取最优质数据时还要对其进行内部审核。

　　·数据延迟：需考虑组织内部数据延迟的三个方面：数据发生时机、事件延续时间、决策所需时间。

　　·数据关联：与商业用户合作确定数据的前后关系，并就使用中的多个数据集建立相互联系，同时还需要考虑数据增长率以及重复的来源。

　　·自服务：确定高级用户如何在不影响IT或其他资源的情况下，对用于查询的数据实施控制。

　　·首席数据官(Chief Data Officer)：指定一名高级职员担任首席数据官的职务，使其能够在维持组织治理的同时保证数据的可操作性。

　　数据质量的重要性再怎么强调也不为过。以comScore为例，作为一家为电子商务市场提供分析服务和解决方案的云计算公司，该公司从创立伊始就意识到，网络营销的重点正从访客数量转变为盈利性。comScore的“客户知识平台”(Customer Knowledge Platform)针对顾客浏览互联网的行为与偏好提供了全方位的观察视角。该服务追踪所有愿意提供互联网行为以供分析的用户，记录他们在各个网站的冲浪以及购买行为。

　　随着数以百万计的网络用户注册该服务接受监测，comScore收集到了海量数据。事实上，comScore所分析的压缩数据达到40 TB以上，每周都会新增接近150 GB。令人印象深刻的是，尽管数据量如此庞大，您却无需耗费时间焦急等待查询结果。据comScore工程事业部副总裁Ric Elert称，由于上述原因，“我们得以更加迅速地挖掘数据，并为客户提供结果。这有助于他们提高营销效率，开发出更多业务。”

　　此外，该公司使用列存储技术，实现了40%的压缩率。comScore表示，若使用传统方法，存储成本会比现在高很多。数据仓库副总裁Scott Smith说道：“由于我们面对的是海量的数据，压缩对我们而言至关重要。我们拥有的数据储量如此庞大，是大多数人从未见过的。”

　　西班牙Airtel Vodafone公司的列存储数据仓库可根据公司的业务地图进行信息组织。尽管很多不同的部门都使用同样的数据，但Airtel Vodafone仍然能够有效保证信息的一致性和完整性。数据仓库将数据转换成知识，通过一个接口，将现实世界中的事实转化为有价值的商业情报。准确分析和预测客户行为的能力是Airtel Vodafone公司整体业务战略的关键所在。

　　有了列式数据仓库，用户可根据工作流(而不是按照企业的层级结构)需要获取信息，这提高了员工的工作效率和有效性。换言之，从事市场营销的用户与从事财务工作的用户(举例而言)使用的是相同的信息，只是他们接触数据的角度有所不同，分析目的也各不相同。数据仓库环境包含了市场营销数据库、呼叫系统、客户服务、全球移动通信系统统计数据、开票系统、收账与检索，以及所有的后勤管理信息。

　　如今，Airtel Vodafone拥有一个理想的运行环境，能够满足各种需求，从而让存储在各种运行环境中的数据实现快速、低成本的集成。因此，它可以直接从数据仓库平台中调用有关公司活动的详细信息或汇总信息。基于列存储的数据仓库使Airtel Vodafone公司赢得了市场份额，成为欧洲电信业中的一方诸侯。

　　当今，分析行业也没有任何借口不使用“大数据”。无论是扩大分析数据仓库、涵盖数以千计的用户，还是分析来自各种奇特来源的各类数据(如来自社交媒体网站的海量非结构化信息)，它们都没有逃脱的借口。不要再躲避了，分析行业再也不能躲在“大数据”这个吓人的怪物身后，因为我们知道，通过使用列式分析基础架构，就能够让“大数据”更好为企业运营服务。