技术开发 频道

数据库性能优化观念的转换

主持人:刚才Sybase软件中国技术总监来到现场,我们大家欢迎他。他刚才想发言,第二个,接下来两个话题,各位发言的时候,大家把这两个问题合并一下,用最简短的话给大家描述一下。下面的问题就是关于下一代数据库的探讨,还有数据库参数方面的问题。我个人有一个问题,就是Sybase的问题。我注意到最近几年的数据Sybase在市场上一直呈现下降、萎缩的态势,Sybase在规划新产品的策略上是怎么走的?而且Sybase在数据仓库这方面有很多独到之处,请谈一下吧!


卢东明,Sybase软件中国技术总监

Sybase软件中国技术总监:你们刚才讨论的话题是数据库性能优化的问题,我其实也了解大家的出发点,就是在数据库已经选定的情况下,出现了性能问题的情况下,怎么样去优化?怎么样把性能提高或者怎么样避免各种各样负面的作用?这本身就是一个二难的问题。你要增加索引,势必面临数据加载的负担,但是你不加索引,你又面临查询性能问题;因此一个数据库系统要综合考虑这两个方面,保证每一次查询都有索引去用,而且其优化器还可以自动平衡,乃至索引代价最低,但是这种情况不可能。不是哪一个数据库都能有一个很简单的方法,用数据库就可以解决这种难题。

我其实想跟大家一个观念上的转变。我们要退回到第一步,从数据库选型方面来解决这个矛盾,也就是我今天上午提到的话题:把OLTP和OLAP两个分开。如果不分开的话,永远会存在这样的问题。作为一个涉及大规模数据的查询,你的内存就是那么多。要想把这个表做一个统计,会耗费很大的内存,那你再做其他查询的时候怎么办?把数据库放在内存里面,这是一个解决方案,但是它对内存的要求变得很高。如果数据库是一个几百个G的级别,你内存要有一个相应的配置去适应。毕竟内存的价格和存储的价格是不一样的。从产品线上来说Sybase就是把这两个不同的应用完全区分来对待。大家对Sybase在目前市场的现状的理解,其实是指我们的OLTP市场份额有下滑,但在在数据仓库(OLAP)上却有很多的亮点出来。

因为我十四年前曾经在Sybase china工作过,那时候Sybase数据库屡次推出许多别的公司所没有的新特性,技术上处于领先的低位,当时很风光,但是中间可以说公司的战略犯了一个错误,所以导致现在属于一个追赶的阶段。这个路很难走。但是Sybase IQ在数据仓库这个领域是一个革命性的产品。我们所有的专利技术,是别人正在学习而不能够超越我们的,从而导致我们现在数据仓库上面,在分析型应用上面,有很多的优势。比如刚才说的索引问题,如果前提是你的分析型应用可以以某种形式与其他类型的应用剥离开,比如查询那部分相对来说可以把它剥离开。对于各种数据规模来说,如果你剥离开的话,IQ是全索引。每个阶段都是索引,存到IQ里就是索引,而且是单列的索引。它解决了查询部分的问题。可以说我现在看是最好的解决方案。但是IQ并不是没有缺点,IQ的缺点是什么?如果要想在IQ上面做Insert的工作,简单告诉你,不要用IQ。各个产品有各个产品的特点。
总而言之,就是其实可以换一个思路,在数据库选型的时候花一些功夫,可能会是另外的效果。

易贝:我在03、02年的时候,知道Itube的人是很多的。我现在想知道,03年以后到现在IQ功能上主要新增了什么东西?

Sybase中国区总监:变化非常大。现在Sybase IQ的版本已经是12.7了。大家没有在96、97、98年听说IQ很正常,因为以前中国市场的数据及应用的需求还不明确,因而对IQ这种高效的数据仓库查询分析引擎的需求不高。那么随着进入新世纪以后,国内市场这类需求的增强,Sybase开始在国内大力推动IQ这个产品。这几年产品成熟很多,03年的时候,产品稳定性还不是很高,那时候你可能会感觉到稳定性有问题。但是现在从我们整个体系结构来说,它的稳定性有很大程度提高。还有一个改进的就是,当单机不能够应付你查询需求的时候,你可以在不增加存储的情况下,加一台机器,共享你的存储,这样整个负载就可以线性的分担出去。

现在我们卖的最基本的IQ版本就是可以直接利用这种多路并发技术的,当然你这边要加一个IQ,两台机器上都要运行IQ,可以扩展到12000个节点,这样就能极大的提高IQ的并发访问能力。我们要和很多的存储厂商合作,因为谈到数据仓库的话,存储的量,不管压缩多少,还是非常大。像上午举的例子,17T还是需要很大的存储。所以我们现在跟存储厂商的合作变得非常强,EMC、IBM等等,我们都有一套方案说在存储上怎么样配置、规划的。

0
相关文章