建站
咨詢
售后
建站咨詢
新聞中心
對于大數(shù)據(jù)量的導入，是DBA們經(jīng)常會碰到的問題，在這里我們討論的是SQL Server環(huán)境下百萬級數(shù)據(jù)量的導入，希望對大家有所幫助。編輯向您推薦《SQL Server入門到精通》專題。
為東營區(qū)等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及東營區(qū)網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為網(wǎng)站設計制作、網(wǎng)站設計、東營區(qū)網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
實際工作中有時候需要把大量數(shù)據(jù)導入數(shù)據(jù)庫，然后用于各種程序計算，本實驗將使用5中方法完成這個過程，并詳細記錄各種方法所耗費的時間。
本實驗中所用到工具為Visual Studio 2008和SQL Server 2000、SQL Server 2008，分別使用5中方法將100萬條數(shù)據(jù)導入SQL Server 2000與SQL Server 2008中，實驗環(huán)境是DELL 2850雙2.0GCPU，2G內存的服務器。感興趣的朋友可以下載源代碼自己驗證一下所用時間。
還要有一點需要進行說明，本實驗中執(zhí)行SQL語句的地方使用了IsLine FrameWork框架中的DataProvider模塊，這個模塊只是對SQL配置的讀取和封裝，并不會對最終結果有本質性的影響，關于IsLine FrameWork框架方面的知識，請參考“IsLine FrameWork”框架系列文章。
下面進入正題，分別使用基本的Insert 語句、使用BULK INSERT語句、在多線程中使用BULK INSERT、使用SqlBulkCopy類、在多線程中使用SqlBulkCopy類五種方法，挑戰(zhàn)4秒極限。
數(shù)據(jù)庫方面使用SQL Server 2000與SQL Server 2008，表名TableB，字段名稱為Value1，數(shù)據(jù)庫名可以在App.config中修改，默認為test。
圖1 試驗中的5種方法
方法一.使用基本的Insert 語句
這種方法是最基本的方法，大多數(shù)人一開始都會想到這種方法。但是Insert語句似乎并不適合大批量的操作，是不是這樣呢?
本方法中將100萬數(shù)據(jù)分為10個批次，每個批次10萬條，每10萬條1個事務，分10次導入數(shù)據(jù)庫。
-->基本語句:
- Insert Into TableB (Value1) values (‘”+i+”’);
說明：語句中的i是宿主程序中的一個累加變量，用于填充數(shù)據(jù)庫字段中的值。
SQL Server 2000 耗時：901599
SQL Server 2008耗時：497638
方法二.使用BULK INSERT語句
這個類的效果，在本實驗中可以說是最令人滿意的了，它的使用最簡便、靈活，速度很快。
“BULK INSERT”語句似乎不是很常用， Aicken聽說Oracle中有一種可以將外部文件映射為Oracle臨時表，然后直接將臨時表中的數(shù)據(jù)導入Oracle其他表中的方法，這種方法的速度非常令人滿意，SQL SERVER的BULK INSERT是不是同樣令人滿意呢?
--> 基本語句：
- BULK INSERT TableB FROM 'c:\\sql.txt'
- WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)
說明：“c:\\sql.txt”是一個預先生成的包含100條數(shù)據(jù)的文件，這些數(shù)據(jù)以“|”符號分隔，每10萬條數(shù)據(jù)一個事務。
SQL Server 2000耗時：4009
SQL Server 2008耗時：10722
方法三.在多線程中使用BULK INSERT
在方法二的基礎上，將100萬條數(shù)據(jù)分五個線程，每個線程負責20萬條數(shù)據(jù)，每5萬條一個事物，五個線程同時啟動，看看這樣的效果吧。
SQL Server 2000耗時：21099
SQL Server 2008耗時：10997
方法四.使用SqlBulkCopy類
這種方法速度也很快，但是要依賴內存，對于幾千萬條、多字段的復雜數(shù)據(jù)，可能在內存方面會有較大的消耗，不過可以使用64位解決方案處理這個問題。
幾千萬條、多字段的數(shù)據(jù)的情況一般在一些業(yè)務場景中會遇到，比如計算全球消費者某個業(yè)務周期消費額時，要先獲得主數(shù)據(jù)庫表中的會員消費記錄快照，并將快照儲存至臨時表中，然后供計算程序使用這些數(shù)據(jù)。并且有些時候消費者的消費數(shù)據(jù)并不在一臺數(shù)據(jù)庫服務器中，而是來自多個國家的多臺服務器，這樣我們就必須借助內存或外存設備中轉這些數(shù)據(jù)，然后清洗、合并、檢測，最后導入專用表供計算程序使用。
基本語句：
- using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
- { sqlBC.BatchSize = 100000;
- sqlBC.BulkCopyTimeout = 60;
- sqlBC.DestinationTableName = "dbo.TableB";
- sqlBC.ColumnMappings.Add("valueA", "Value1");
- sqlBC.WriteToServer(dt);
- }
說明：
BatchSize = 100000; 指示每10萬條一個事務并提交
BulkCopyTimeout = 60; 指示60秒按超時處理
DestinationTableName = "dbo.TableB"; 指示將數(shù)據(jù)導入TableB表
ColumnMappings.Add("valueA", "Value1"); 指示將內存中valueA字段與TableB中的Value1字段匹配
WriteToServer(dt);寫入數(shù)據(jù)庫。其中dt是預先構建好的DataTable，其中包含valueA字段。
SQL Server 2000耗時：4989
SQL Server 2008耗時：10412
方法五.在多線程中使用SqlBulkCopy類
基于方法四，將100萬條數(shù)據(jù)分五個線程，每個線程負責20萬條數(shù)據(jù)，每5萬條一個事物，五個線程同時啟動，看看這樣的效果吧。
SQL 2000耗時：7682
SQL 2008耗時：10870
總結
|
數(shù)據(jù)庫 測試方式 |
SQL 2000 |
SQL 2008 |
|
基本Insert Into |
901599 |
497638 |
|
單線程Bulk Insert |
4209 |
10722 |
|
多線程Bulk Insert |
21099 |
10997 |
|
單線程SqlBulkCopy |
4989 |
10412 |
|
多線程SqlBulkCopy |
7682 |
10870 |
以上就是這幾天的實驗結果了，比較令人失望的是SQL SERVER 2008導入數(shù)據(jù)的性能似乎并不想我們想象的那樣優(yōu)秀。
源碼地址：http://files.cnblogs.com/isline/sqltest.rar
測試數(shù)據(jù)下載地址：http://files.cnblogs.com/isline/Data.rar
當前文章：詳解如何挑戰(zhàn)4秒內百萬級數(shù)據(jù)導入SQLServer
網(wǎng)頁路徑：http://www.dlmjj.cn/article/djdjgjo.html
