技术开发 频道

MySQL存储引擎和表类型分析

寻找OLAP的瓶颈
    OLAP,也叫联机分析(Online Analytical Processing),有的时候也叫DSS决策支持系统,就是我们说的数据仓库。比较典型的系统包括一些高校的图书馆系统、医院的PACS系统等等。

    在这样的系统中,语句的执行量不是考核标准,因为一个语句的执行时间可能会非常长,读取的数据也非常多。所以,这样的系统中,考核的标准往往决定于磁盘子系统的吞吐量。

    磁盘子系统的吞吐量直接取决于磁盘的个数,这个时候cache基本对整体系统没有太多的影响,这个时候数据库的读写基本上是db file scattered read与direct path read/write。

    在我前面的文章RAID5和RAID10,哪种RAID适合你(下)中就描述过,如果一个15K的磁盘的IO量每秒13M,那么,100个磁盘,最多能提供的吞吐量则是1300M/s(实际上,也基本达不到这个值)。在磁盘个数足够的情况下,还需要考虑采用比较大的带宽,如4GB的光纤接口。

    在OLAP系统中,常使用的技术有分区技术,并行技术。如分区技术可以使得一些大表的扫描变得很快(只扫描单个分区),而且方便管理。另外,如果分区结合并行的话,也可以使得整个表的扫描也会变得很快。

    并行技术除了与分区技术结合外,在oracle 10g中,与rac结合实现多节点的同时扫描,效果也非常不错,把一个任务,如select的全表扫描,平均的分派到多个rac的节点上去。

    在OLAP系统中,不需要使用绑定变量,因为整个系统的执行量很少,分析时间对于执行时间来说,可以忽略,而且避免出现错误的执行计划。但是OLAP中可以大量使用位图索引,物化视图,对于大的事务,尽量的寻求速度上的优化,没有必要象OLTP需要快速提交,甚至要刻意减慢执行的速度。

0
相关文章