技术开发 频道

挑战极限:4秒100万条数据导入SQL数据库

        方法三.在多线程中使用BULK INSERT

  在方法二的基础上,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。

  SQL 2000耗时:21099

  SQL 2008耗时:10997

  方法四.使用SqlBulkCopy类

  这种方法速度也很快,但是要依赖内存,对于几千万条、多字段的复杂数据,可能在内存方面会有较大的消耗,不过可以使用64位解决方案处理这个问题。

  几千万条、多字段的数据的情况一般在一些业务场景中会遇到,比如计算全球消费者某个业务周期消费额时,要先获得主数据库表中的会员消费记录快照,并将快照储存至临时表中,然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中,而是来自多个国家的多台服务器,这样我们就必须借助内存或外存设备中转这些数据,然后清洗、合并、检测,最后导入专用表供计算程序使用。

  基本语句:

代码

  using (System.Data.SqlClient.SqlBulkCopy sqlBC
= new System.Data.SqlClient.SqlBulkCopy(conn)) { sqlBC.BatchSize = 100000; sqlBC.BulkCopyTimeout = 60; sqlBC.DestinationTableName = "dbo.TableB"; sqlBC.ColumnMappings.Add("valueA", "Value1"); sqlBC.WriteToServer(dt); }

    说明:

  BatchSize = 100000; 指示每10万条一个事务并提交

  BulkCopyTimeout = 60; 指示60秒按超时处理

  DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表

  ColumnMappings.Add("valueA", "Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配

  WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable,其中包含valueA字段。

  SQL 2000耗时:4989

  SQL 2008耗时:10412

  方法五.在多线程中使用SqlBulkCopy类

  基于方法四,将100万条数据分五个线程,每个线程负责20万条数据,每5万条一个事物,五个线程同时启动,看看这样的效果吧。

  SQL 2000耗时:7682

  SQL 2008耗时:10870

  总结

           数据库

测试方式

SQL 2000

SQL 2008

基本Insert Into

901599

497638

单线程Bulk Insert

4209

10722

多线程Bulk Insert

21099

10997

单线程SqlBulkCopy

4989

10412

多线程SqlBulkCopy

7682

10870

        以上就是这几天的实验结果了,比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。

  源码地址:http://files.cnblogs.com/isline/sqltest.rar

  测试数据下载地址:http://files.cnblogs.com/isline/Data.rar

        查看原文

0
相关文章