商业智能呼唤革命性的技术

【IT168 技术年会】数据库分论坛综述：商业智能呼唤革命性的技术

    2008年1月13日，第二届中国IT技术精英年会的数据库分论坛在九华山庄举行，和去年一样，数据库分论坛依然成为本年度最为火热的论坛。来自于业界的技术专家Sybase软件中国有限公司技术总监 卢东明，阿里巴巴首席DBA，oracle数据库ACE冯春培，以及IBM软件公司技术经理刘晶炜，给大家做了三场精彩的技术讲座和报告。

商业智能呼唤革命性的技术

    Sybase软件中国有限公司技术总监 卢东明指出，数据规模的增长，导致的数据存储和传输，已经成为当今数据库及商务智能最大的挑战。我们花在存储方面的开销包括：硬件开销，折旧开销，管理开销，人员开销已经达到了惊人的地步；另外，尽管在过去的25年中，硬盘的容量增长了10000倍，传输率增长了100倍，但有效传输带宽（ETB）实际上下降了100倍。这些都成为数据库仓库和商业智能性能方面最大的挑战。

    卢东明认为，BI市场方面，同样是需要专业的东西做专业的事情，就是说需要专门的数据库产品来支撑企业的数据仓库，数据挖掘等BI应用，Sybase给出的答案就是Sybase IQ系列产品和方案。这一观点引发参会网友和技术专家热烈的讨论。
Sybase IQ的诸多特性，引起来大家的关注，一个是压缩技术，IQ里面的压缩技术是自动有的，不需要设定或者是制订才能产生的，卢东明介绍，Sybase并没有把IQ定位成一个压缩型的数据库而把它定位成列式数据库，也就是它的根本，它的本原第一步是列式数据库，压缩的特性是随着列式数据库而来的。比如说DB2九版本也做到了某些压缩的功能甚至非常好，但是跟IQ的理念不一样，IQ是每个列自动进行压缩，但有些数据也是不可压缩的。

对于商业智能，厂商都在盲人摸象

    另外，与会专家也谈到了数据仓库项目成败的问题。除了技术问题以外，领域专家和业务方面的问题，也是导致数据仓库项目失败的重要原因。统计数据表明，数据仓库项目80%都是失败的。网友谈到，不管是自己做项目，还是带项目也好，实际上自己也挺失望的，搞不清楚数据仓库的概念是成功的还是失败的。

    大部分专家赞同数据仓库不光是一个存数据的问题，最重要的一个问题是业务问题，而本质上是业务问题。这些东西一定需要有一些业务专家来做这些东西，比如说做一些业务建模，还有质量的问题，不同业务数据系统数据质量可能存在一些问题，最终得到的结果整合过来以后得到的期望跟用户有一定的差距，再一个问题是从业务数据库到数据仓库本身需要转换，当中发生一些数据的损耗，这三个问题才是最重要的。发生任何一个问题，做数据仓库都不是成功的。

    卢东明解释了关于数据仓库项目失败率较高的原因，一个是数据仓库跟传统的业务型的项目比起来周期比较长，在它没有成功的时候我们是不是把它叫做失败的，这是有商榷的。就好象大家做车一样，从中国汽车工业开始，在没有做出很成功的车型或者企业的时候，我们是不是把中国的汽车工业称为失败呢，我觉得不应该，大家都还在探索，国际上也不是每个都能成功，但是大家还是看到商务智能越来越有迫切性了。

    卢东明认为，对于ETL或者前端展示的作用在整个BI系统工程的过程中都占有它的地位，在整体的架构上面，Sybase IQ只是做了一个其中的环节而已，并不是说我们解决了整体的东西，但是每个环节如果都能够有各自的厂商进行突破性的进展，我想可能你会发现整个项目会比现在想象得容易得多。

    “就好象我手机上面就有一个Excel的程序，这个东西十年前不可想象的，那个时候要想让企业做一个电子表格的东西，他也会认为这是非常难处理的事情，所以计算机的发展既给大家一个视角，也给大家一个历史观，也就是说计算机永远在处理现在难办的事情。对于ETL的过程，其实很多技术的进展也对整个体系的应用开发理念提出各种各样的挑战或者是各种新的见解，比如说ETL，好像大家觉得是顺理成章的事情，一个项目有原数据，转换要需要ETL，但是现在你会发现，有很多过程放在数据库里面比放在ETL里面有成几千倍的提高，现在有一个理念叫ELT，就是我抽取出来以后，先放到数据库里面，先L，这个比用ETL工具快不知道多少倍。那么这个概念是怎么提出来的，还是由于列式数据库能够显示出来，如果没有这样的突破的话，我想ELT这个概念也出不来。”

    卢东明总结到，厂商的各项功能及产品实现对于商业智能而言，就像盲人摸象一样，没有人能够看到商务智能是一个整体的大象怎么样走，怎么样运转，所以每个公司都围绕着大象的某一个角度在做事情。

1