技术开发 频道

在DB2中提高Insert性能的技巧


    4.缓冲池、I/O和页清除

    每一条insert在执行时,都是先将新行存储在一个页中,并最终将那个页写到磁盘上。一旦像前面讨论的那样指定了页,那么在将行添加到该页之前,该页必须已经在缓冲池中。对于批量插入,大部分页都是最新指派给表的,因此让我们关注一下对新页的处理。

    如果表在系统管理存储的(SystemManagedStorage,SMS)表空间中,当需要新页时,缺省情况下是从文件系统中分别为每一页分配空间。但是,如果对数据库运行了db2empfa命令,那么每个SMS表空间就会为新页一次性分配一个区段。我们建议运行db2empfa命令,并使用32页的区段。

    对于数据库管理的存储(DatabaseManagedStorage,DMS)表空间,空间是在创建表空间时就预先分配的,但是页的区段则是在插入处理过程中指派给表的。与SMS相比,DMS对空间的预分配可以提高大约20%的性能--使用DMS时,更改区段大小并没有明显的效果。

    如果表上有索引,则对于每个插入的行,都要添加一个条目到每条索引。这要求在缓冲池中存在适当的索引页。晚些时候我们将讨论索引的维护,但是现在只需记住,插入时对缓冲池和I/O的考虑也类似地适用于索引页,对于数据页也是一样。

    随着插入的进行,越来越多的页中将填入被插入的行,但是,DB2不要求在insert或Commit后将任何新插入的或更新后的数据或索引写入到磁盘。(这是由于DB2的writeahead日志记录算法。但是有一个例外,这将在关于日志记录的小节中论述到。)然而,这些页需要在某一时刻写到磁盘上,这个时刻可能会在数据库关闭时才会轮到。

    一般来说,对于批量插入,您会希望积极地进行异步页清除(asynchronouspagecleaning),这样在缓冲池中就总有可用于新页的空余位置。页清除率,或者说总缺页率,可能导致计时上的很大不同,使得性能比较容易产生误解。例如,如果使用100,000页的缓冲池,并且不存在页清除,则批量插入在结束前不会有任何新的或更改过的(“脏的”)页写到磁盘上,但是随后的操作(例如选择,甚至乎关闭数据库)都将被大大推迟,因为这时有至多100,000个在插入时产生的脏页要写到磁盘上。另一方面,如果在同一情况下进行了积极的页清除,则批量插入过程可能要花更长的时间,但是此后缓冲池中的脏页要少一些,从而使得随后的任务执行起来性能更佳。至于那些结果中到底哪个要更好些,我们并不是总能分得清,但是通常来说,将所有脏页都存储在缓冲池中是不可能的,所以为了取得非常好的性能,采取有效的页清除是有必要的。

    为了尽可能好地进行页清除:

    将CHNGPGS_THRESH数据库配置参数的值从缺省的60减少到5这么低。这个参数决定缓冲池中脏页的阈值百分比,当脏页达到这个百分比时,就会启动页清除。

    尝试启用注册表变量DB2_USE_ALTERNATE_PAGE_CLEANING(在DB2V8FixPak4中最新提供)。通过将这个变量设置成ON,可以为页清除提供一种比缺省方法(基于CHNGPGS_THRESH和LSN间隙触发器)更积极的方法。我没有评测过其效果。请参阅FixPak4ReleaseNotes以了解这方面的信息。

    确保NUM_IOCLEANERS数据库配置参数的值至少等于数据库中物理存储设备的数量。

    至于I/O本身,当需要建立索引时,可以通过使用尽可能大的缓冲池来将I/O活动减至最少。如果不存在索引,则使用较大的缓冲池帮助不大,而只是推迟了I/O。也就是说,它允许所有新页暂时安放在缓冲池中,但是最终仍需要将这些页写到磁盘上。

    当发生将页写到磁盘的I/O时,通过一些常规的I/O调优步骤可以加快这一过程,例如:

    将表空间分布在多个容器(这些容器映射到不同磁盘)。

    尽可能使用最快的硬件和存储管理配置,这包括磁盘和通道速度、写缓存以及并行写等因素。

    避免RAID5(除非是与像Shark这样有效的存储设备一起使用)。

    5.锁

    缺省情况下,每一个插入的行之上都有一个X锁,这个锁是在该行创建时就开始有的,一直到insert被提交。有两个跟insert和锁相关的性能问题:

    为获得和释放锁而产生的CPU开销。

    可能由于锁冲突而导致的并发问题。

    对于经过良好优化的批量插入,由获得每一行之上的一个X锁以及后来释放该锁引起的CPU开销是比较可观的。对于每个新行之上的锁,惟一可以替代的是表锁(DB2中没有页锁)。当使用表锁时,耗时减少了3%。有3种情况可以导致表锁的使用,在讨论表锁的缺点之前,我们先用一点时间看看这3种情况:

    运行ALTERTABLELOCKSIZETABLE。这将导致DB2为随后使用该表的所有SQL语句使用一个表锁,直到locksize参数改回到ROW。

    运行LOCKTABLEINEXCLUSIVEMODE。这将导致表上立即上了一个X锁。注意,在下一次提交(或回滚)的时候,这个表将被释放,因此,如果您要运行一个测试,测试中每N行提交一次,那么就需要在每次提交之后重复执行LOCKTABLE。

    使用缺省锁,但是让LOCKLIST和MAXLOCKS数据库配置参数的值比较小。当获得少量的行锁时,行锁就会自动地逐渐升级为表锁。

    当然,所有这些的缺点就在于并发的影响:如果表上有一个X锁,那么其他应用程序除非使用了隔离级别UR(未提交的读),否则都不能访问该表。如果知道独占访问不会导致问题,那么就应该尽量使用表锁。但是,即使您坚持使用行锁,也应记住,在批量插入期间,表中可能存在数千个有X锁的新行,所以就可能与其他使用该表的应用程序产生冲突。通过一些方法可以将这些冲突减至最少:

    确保锁的升级不会无故发生。您可能需要加大LOCKLIST和/或MAXLOCKS的值,以允许插入应用程序有足够的锁。

    对于其他的应用程序,使用隔离级别UR。

    对于V8FixPak4,或许也可以通过DB2_EVALUNCOMMITTED注册表变量来减少锁冲突:如果将该变量设置为YES,那么在很多情况下,只能获得那些符合某个谓词的行上的锁,而并不是获得被检查的所有行上的锁。

    发出一个COMMIT命令以释放锁,因此如果更频繁地提交的话就足以减轻锁冲突的负担。

    注意

    在V7中,存在涉及insert和键锁的并发问题,但是在V8中,由于提供了type-2索引,这些问题实际上已经不见了。如果要迁移到V8中来,那么应该确保使用带CONVERT关键字的REORGINDEXES命令,以便将索引从type-1转换为type-2。

    在V7中,插入过程中可能使用W或NW锁,但是在V8中只有在使用了type-1索引或者隔离级别为RR的情况下才会出现这两种锁。因此,应尽可能避免这两种情况。

    一条insert所据有的锁(通常是一个X锁)通常不会受隔离级别的影响。例如,使用隔离级别UR不会阻止从插入的行上获得锁。然而,如果使用了INSERT...SELECT,则隔离级别将影响从SELECT获得的锁。

    6.日志记录

    缺省情况下,每条insert都会被记录下来,以用于恢复。日志记录首先被写到内存中的日志缓冲池,然后再写到日志文件,通常是在日志缓冲池已满或者发生了一次提交时写到日志文件的。对批量插入的日志记录的优化实际上就是最小化日志记录写的次数,以及使写的速度尽可能快。

    这里首先考虑的是日志缓冲池的大小,这由数据库配置参数LOGBUFSZ来控制。该参数缺省值为8页或32K,这与大多数批量插入所需的理想日志缓冲池大小相比要小些。举个例子,对于一个批量插入,假设对于每一行的日志内容有200字节,则在插入了160行之后,日志缓冲池就将被填满。如果要插入1000行,因为日志缓冲池将被填满几次,再加上提交,所以大概有6次日志写。如果将LOGBUFSZ的值增加到64页(256K)或者更大,缓冲池就不会被填满,这样的话对于该批量插入就只有一次日志写(在提交时)。通过使用更大的LOGBUFSZ可以获得大约13%的性能提升。较大日志缓冲池的不利之处是,紧急事故恢复所花的时间可能要稍微长一点。

    减少日志写的另一种可能性是对新行要插入到的那个表使用“ALTERTABLEACTIVATENOTLOGGEDINITIALLY”(NLI)。如果这样做了,那么在该工作单元内不会记录任何insert操作,但是这里存在两个与NLI有关的重要问题:

    如果有一条语句失败,那么这个表将被标记为不可访问的,并且需要被删除掉。这与其他恢复问题(请参阅SQLReference关于CreateTable的讨论)一起使得NLI在很多情况下不能成为可行的方法。

    在工作单元最后进行的提交,必须等到在此工作单元内涉及的所有脏页都被写到磁盘之后才能完成。这意味着这种提交要占用大量的时间。如果没有积极地进行页清除,那么在使用NLI的情况下,Insert加上提交所耗费的总时间要更长一些。将NLI与积极的页清除一起使用的时候,可以大大减少耗时。如果使用NLI,就要瞪大眼睛盯紧提交操作所耗费的时间。

    至于提高日志写的速度,有下面一些可能性:

    将日志与新行所要插入到的表分别放在不同的磁盘上。

    在操作系统层将日志分放到多个磁盘。

    考虑为日志使用原始设备(rawdevice),但是要注意,这样管理起来要更困难些。

    避免使用RAID5,因为它不适合于写密集型(write-intensive)活动。

    7.提交

    提交迫使将日志记录写到磁盘上,以保证提交的插入肯定会存在于数据库中,并且释放新行上的锁。这些都是有价值的活动,但是因为Commit总是要牵涉到同步I/O(对于日志),而insert则不会,所以Commit的开销很容易高于insert的开销。因此,在进行批量插入时,每一行都提交一次的做法对于性能来说是很糟糕的,所以应确保不使用自动提交(对于CLI和CLP来说缺省情况正是如此)。建议大约每1000行提交一次:当每1000行而不是一两行提交一次时,性能可以提高大概10倍。不过,一次提交多于1000行只能节省少量的时间,但是一旦出现失败,恢复起来所花的时间要更多。

    对上述方法的一种修正:如果MINCOMMIT数据库配置参数的值大于1(缺省值),则DB2就不必对每次commit都进行一次同步I/O,而是等待,并试图与一组事件一起共享日志I/O。对于某些环境来讲,这样做是有好处,但是对于批量插入常常没有作用,甚至有负作用,因此,如果要执行的关键任务是批量插入,就应该让MINCOMMIT的值保持为1。

    可以选择性地进行改进的地方

    对于一次insert,有几种类型的处理将自动发生。如果您的主要目标只是减少插入时间,那么最简单的方法是避免所有这些处理的开销,但是如果从总体上考虑的话,这样做未必值得。让我们依次进行讨论。

    索引维护

    对于插入的每一行,必须添加一个条目到表上的每个索引中(包括任何主键索引)。这一过程主要有两方面的代价:

    遍历每个索引树,在树的每一层搜索一个页,以确定新条目必须存储在哪里(索引条目总是按键顺序存储的),这一过程所引起的CPU开销;

    将所有搜索到的页读入缓冲池,并最终将每个更新后的页写到磁盘上的I/O开销。

    更坏的场景是,在索引维护期间有大量的随机I/O。假设要插入10,000行,在索引的缓冲池中有5000页,并且要插入的各行的键值随机分布在整个键范围内。那么,有10,000个这么多的叶子页(可能还有些非叶子页)需要进入缓冲池,以便对它们进行搜索和/或更新,对于一个给定的叶子页,它预先已经在缓冲池中的概率只有10%。对于每次的insert,需要读磁盘的概率如此之高,使得这种场景往往性能很差。

    对于逐行插入,将新行添加到已有的索引中比起创建一个新索引来代价要高得多。如果是插入到一个空表,应该总是在进行了列插入之后创建索引。(注意,如果使用了load,则应该预先创建索引。)如果要插入到一个已经填充过的表,那么在列插入之前删除索引,并在列插入之后重新创建索引,这种方法可能是最快的,但是只有在要插入相当多的行--大概大于表的10-20%的时候,才能这么说。如果为索引表空间使用较大的缓冲池,并且尽可能地将不同insert排序,以便键值是排好序的,而不是随机的,就可以帮助加快索引维护。
 

0
相关文章