SQL Server海量資料匯入的方法

最近做某專案的資料庫分析，要實現對海量資料的匯入問題，就是最多把200萬條資料一次匯入sqlserver中，如果使用普通的insert語句進行寫出的話，恐怕沒個把小時完不成任務，先是考慮使用bcp，但這是基於命令列的，對使用者來說友好性太差，實際不大可能使用;最後決定使用BULK INSERT語句實現，BULK INSERT也可以實現大資料量的匯入，而且可以通過程式設計實現，介面可以做的非常友好，它的速度也很高：匯入100萬條資料不到20秒中，在速度上恐怕無出其右者。

但是使用這種方式也有它的幾個缺點：

1.需要獨佔接受資料的表

2.會產生大量的日誌

3.從中取資料的檔案有格式限制

但相對於它的速度來說，這些缺點都是可以克服的，而且你如果願意犧牲一點速度的話，還可以做更精確的控制，甚至可以控制每一行的插入。對與產生佔用大量空間的日誌的情況，我們可以採取在匯入前動態更改資料庫的日誌方式為大容量日誌記錄恢復模式，這樣就不會記錄日誌了，匯入結束後再恢復原來的資料庫日誌記錄方式。

具體的一個語句我們可以這樣寫：

以下為引用的內容：

alter database taxi

set RECOVERY BULK_LOGGED

BULK INSERT taxi..detail FROM 'e:\out.txt'

WITH (

?? DATAFILETYPE = 'char',

?? FIELDTERMINATOR = ',',

?? ROWTERMINATOR = '\n',

?TABLOCK

)

alter database taxi

set RECOVERY FULL

這個語句將從e:\out.txt匯出資料檔案到資料庫taxi的detail表中。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/16436858/viewspace-536517/，如需轉載，請註明出處，否則將追究法律責任。