技术开发 频道

实现SQL Server快速导入数据

  【IT168 技术文档】如果需要向SQL Server批量导入数据,根据导入的选项和表中的索引设置,数据导入的时间可能会在不同情况下相差甚远。如何能够把批量导入的过程尽量少花时间呢?在这里我们将会介绍几种不同的批量导入数据的方法、各种方法相应的实例及其所需的时间长短。

  在我们的测试中我们采取了六种不同的数据导入方法:

  1、表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)
  2、表只含有一个聚集索引
  3、表不含有任何索引
  4、表不含有任何索引并且有TABLOCK指示
  5、表只含有一个聚集索引并且有TABLOCK指示
  6、表含有一个聚集索引一个聚集索引并且有TABLOCK指示

  另外,测试所用数据库在测试前设置为批日志恢复模式。
  这些测试中,每次迭代后数据库和日志都会清理日志文件,而且实施每一个步骤之前都将表删除,然后重新创建新表。

  测试一
 
  第一次运行是使用一个含有121317行的数据集和一个空表。每次运行之前都会重新创建符合测试的表。
如下图结果所示,我们可以看出根据你用来导入数据的不同程序,运行时间有所不同。

ID测试运行(1)运行(2)
 
1表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)5.15.3
2 表只含有一个聚集索引3.23.0
3表不含有任何索引1.41.4
4表只含有一个聚集索引并且有TABLOCK指示1.21.3
5 表只含有一个聚集索引并且有TABLOCK指示2.82.5
6表含有一个聚集索引一个聚集索引并且有TABLOCK指示4.13.9

  测试2
 
  第二次运行是使用一个含有242634行的数据集和一个空表。每次运行之前都会重新创建符合测试的表。
我们可以看到这些运行的时间有一些差别。

IDTest运行(1)运行(2)
1表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)14.013.8
2表只含有一个聚集索引6.97.3
3表不含有任何索引2.72.7
4表只含有一个聚集索引并且有TABLOCK指示2.52.5
5表只含有一个聚集索引并且有TABLOCK指示5.65.5
6表含有一个聚集索引一个聚集索引并且有TABLOCK指示8.48.7

  测试三

  在这个测试中,我们运行了两个导入过程。第一次导入使用了一个含有121317行和一个空表,然后在同一个表中导入另外121317条记录。每次运行之前都会重新创建符合测试的表。

ID测试运行(1)运行(2)总时间
1表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)8.47.716.1
2表只含有一个聚集索引3.53.26.7
3 表不含有任何索引1.51.42.9
4表只含有一个聚集索引并且有TABLOCK指示1.3   1.32.6
5表只含有一个聚集索引并且有TABLOCK指示 3.14.07.1
6表含有一个聚集索引一个聚集索引并且有TABLOCK指示4.08.512.5

  总结

  我们可以从以上测试的结果看出,各种不同的条件会影响数据导入所用的时间。因此,如果想要更快地导入数据,可以导入不含任何索引的表,在导入完成之后再建立索引。不过我们的测试中没有检测在导入完成后建立索引所需要的时间。
另外,还要注意确保你的数据和日志文件有足够的空间来完成这个导入过程而不会导致文件自动增长。文件自动增长会极大地影响总导入的速度。
0
相关文章