【轉貼】mysql匯入資料load data infile用法

weixin_34321977發表於2012-10-05
MySql

mysql匯入資料load data infile用法

基本語法：
load data [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]

load data infile語句從一個文字檔案中以很高的速度讀入一個表中。使用這個命令之前，mysqld程式（服務）必須已經在執行。為了安全原因，當讀取位於伺服器上的文字檔案時，檔案必須處於資料庫目錄或可被所有人讀取。另外，為了對伺服器上檔案使用load data infile，在伺服器主機上你必須有file的許可權。
1 如果你指定關鍵詞low_priority，那麼MySQL將會等到沒有其他人讀這個表的時候，才把插入資料。可以使用如下的命令：
load data low_priority infile "/home/mark/data sql" into table Orders;
2 如果指定local關鍵詞，則表明從客戶主機讀檔案。如果local沒指定，檔案必須位於伺服器上。
3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace，新行將代替有相同的唯一鍵值的現有行。如果你指定ignore，跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項，當找到重複鍵時，出現一個錯誤，並且文字檔案的餘下部分被忽略。例如：
load data low_priority infile "/home/mark/data sql" replace into table Orders;
4 分隔符
（1） fields關鍵字指定了檔案記段的分割格式，如果用到這個關鍵字，MySQL剖析器希望看到至少有下面的一個選項：
terminated by分隔符：意思是以什麼字元作為分隔符
enclosed by欄位括起字元
escaped by轉義字元
terminated by描述欄位的分隔符，預設情況下是tab字元（\t）
enclosed by描述的是欄位的括起字元。
escaped by描述的轉義字元。預設的是反斜槓（backslash：\ ）
例如：load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';
（2）lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符
如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同： fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
如果你不指定一個lines子句，預設值與如果你這樣寫的相同： lines terminated by'\n'
例如：load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';
5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候，，需要加入一些欄目（列/欄位/field）到MySQL資料庫中，以適應一些額外的需要。比方說，我們要從Access資料庫升級到MySQL資料庫的時候
下面的例子顯示瞭如何向指定的欄目(field)中匯入資料：
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID);
6 當在伺服器主機上尋找檔案時，伺服器使用下列規則：
（1）如果給出一個絕對路徑名，伺服器使用該路徑名。
（2）如果給出一個有一個或多個前置部件的相對路徑名，伺服器相對伺服器的資料目錄搜尋檔案。
（3）如果給出一個沒有前置部件的一個檔名，伺服器在當前資料庫的資料庫目錄尋找檔案。
例如： /myfile txt”給出的檔案是從伺服器的資料目錄讀取，而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。
注意：欄位中的空值用\N表示


我的文章一般淺顯易懂，不會搞那麼深入讓大家很難理解。（其實我水平也不咋樣)

LOAD DATA INFILE 一直被認為是MySQL很強大的一個資料匯入工具，因為他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活匯入匯出。

我來舉兩個例子說明一下。
一、關於編碼
我們的示例文字檔案：
"我愛你","20","相貌平常，經常耍流氓！哈哈"
"李奎","21","相貌平常，經常耍流氓！哈哈"
"王二米","20","相貌平常，經常耍流氓！哈哈"
"老三","24","很強"
"老四","34","XXXXX"
"老五","52","***%*￥*￥*￥*￥"
"小貓","45","中間省略。。。"
"小狗","12","就會叫"
"小妹","21","PP的很"
"小壞蛋","52","表裡不一"
"上帝他爺","96","非常英俊"
"MM來了","10","。。。"
"歌頌黨","20","社會主義好"
"人民好","20","的確是好"
"老高","10","學習很好"
"斜三","60","眼睛斜了"
"中華之子","100","威武的不行了"
"大米","63","我愛吃"
"蘋果","15","好吃"
我們的示例表結構：


+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0 | CREATE TABLE `t0` (
`id` bigint(20) unsigned NOT NULL auto_increment,
`name` char(20) NOT NULL,
`age` tinyint(3) unsigned NOT NULL,
`description` text NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)


我們把這個文字檔案從WINDOWS 下COPY到LINUX下看看


mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`);

反引號
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name | age | description |
+----+----------+-----+----------------------------+
| 1 | 我愛你 | 20 | 相貌平常，經常耍流氓！哈哈 |
| 2 | 李奎 | 21 | 相貌平常，經常耍流氓！哈哈 |
| 3 | 王二米 | 20 | 相貌平常，經常耍流氓！哈哈 |
| 4 | 老三 | 24 | 很強 |
| 5 | 老四 | 34 | XXXXX |
| 6 | 老五 | 52 | ***%*￥*￥*￥*￥ |
| 7 | 小貓 | 45 | 中間省略。。。 |
| 8 | 小狗 | 12 | 就會叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小壞蛋 | 52 | 表裡不一 |
| 11 | 上帝他爺 | 96 | 非常英俊 |
| 12 | MM來了 | 10 | 。。。 |
| 13 | 歌頌黨 | 20 | 社會主義好 |
| 14 | 人民好 | 20 | 的確是好 |
| 15 | 老高 | 10 | 學習很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中華之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我愛吃 |
| 19 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)

我來說明一下相關的引數
關於我的匯入語句，我現在直說兩個，其他的參考手冊。
character set gbk;

這個字符集一定要寫，要不然就會亂碼或者只匯入一部分資料。


ignore into table


因為name 列加了唯一索引，加這個是為了避免重複資料插入報錯。

加入我們再次執行這個匯入語句就會發現
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
沒有任何值匯入，因為裡面已經有了相同的值。

這裡也可以用replace into table
MySQL會把相同的先幹掉，再插入新的值。
mysql> load data infile '/tmp/t0.txt' replace into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name | age | description |
+----+----------+-----+----------------------------+
| 20 | 我愛你 | 20 | 相貌平常，經常耍流氓！哈哈 |
| 21 | 李奎 | 21 | 相貌平常，經常耍流氓！哈哈 |
| 22 | 王二米 | 20 | 相貌平常，經常耍流氓！哈哈 |
| 23 | 老三 | 24 | 很強 |
| 24 | 老四 | 34 | XXXXX |
| 25 | 老五 | 52 | ***%*￥*￥*￥*￥ |
| 26 | 小貓 | 45 | 中間省略。。。 |
| 27 | 小狗 | 12 | 就會叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小壞蛋 | 52 | 表裡不一 |
| 30 | 上帝他爺 | 96 | 非常英俊 |
| 31 | MM來了 | 10 | 。。。 |
| 32 | 歌頌黨 | 20 | 社會主義好 |
| 33 | 人民好 | 20 | 的確是好 |
| 34 | 老高 | 10 | 學習很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中華之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我愛吃 |
| 38 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)


(`name`,`age`,`description`);

這些也就是具體的表屬性了，指明這個就可以匯入想要的資料。
2、關於靈活性，其實也就是一個記錄功能
如果想在匯入的時候記錄一下匯入的具體時間怎麼辦？
我們來看看
先加一個時間屬性記錄匯入時間。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
幹掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0


mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age | description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我愛你 | 20 | 相貌平常，經常耍流氓！哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 | XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | ***%*￥*￥*￥*￥ | 0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中華之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爺 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)


新匯入的19條記錄時間被記錄了下來。
只是之前的資料庫沒有記錄，不過現在不需要這些重複資料了。

幹掉他就可以了


mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0

mysql> alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0

mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age | description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我愛你 | 20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很強 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 | XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | ***%*￥*￥*￥*￥ | 2008-06-30 14:58:37 |
| 64 | 小貓 | 45 | 中間省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就會叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小壞蛋 | 52 | 表裡不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爺 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌頌黨 | 20 | 社會主義好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的確是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 學習很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中華之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)

現在是達到了目的了，為啥中途要幹掉唯一索引呢？因為set 語法 再有IGNORE 的時候會忽略掉。

 

基本語法：

load data [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
 
load data infile語句從一個文字檔案中以很高的速度讀入一個表中。使用這個命令之前，mysqld程式（服務）必須已經在執行。為了安全原因，當讀取位於服務 器上的文字檔案時，檔案必須處於資料庫目錄或可被所有人讀取。另外，為了對伺服器上檔案使用load data infile，在伺服器主機上你必須有file的許可權。
1 如果你指定關鍵詞low_priority，那麼MySQL將會等到沒有其他人讀這個表的時候，才把插入資料。可以使用如下的命令：
load data low_priority infile "/home/mark/data sql" into table Orders;
 
2 如果指定local關鍵詞，則表明從客戶主機讀檔案。如果local沒指定，檔案必須位於伺服器上。
 
3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace，新行將代替有相同的唯一鍵值的現有行。如果你指定 ignore，跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項，當找到重複鍵時，出現一個錯誤，並且文字檔案的餘下部分被忽略。例如：
load data low_priority infile "/home/mark/data sql" replace into table Orders;
 
4 分隔符
（1） fields關鍵字指定了檔案記段的分割格式，如果用到這個關鍵字，MySQL剖析器希望看到至少有下面的一個選項：
terminated by分隔符：意思是以什麼字元作為分隔符
enclosed by欄位括起字元
escaped by轉義字元
terminated by描述欄位的分隔符，預設情況下是tab字元（\t）
enclosed by描述的是欄位的括起字元。
escaped by描述的轉義字元。預設的是反斜槓（backslash：\ ）
例如：load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';
（2）lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符
如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同： fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
如果你不指定一個lines子句，預設值與如果你這樣寫的相同： lines terminated by'\n'
例如：load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';
5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候，，需要加入一些欄目（列/欄位/field）到MySQL資料庫中，以適應一些額外的需要。比方說，我們要從 Access資料庫升級到MySQL資料庫的時候
下面的例子顯示瞭如何向指定的欄目(field)中匯入資料：
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID);
6 當在伺服器主機上尋找檔案時，伺服器使用下列規則：
（1）如果給出一個絕對路徑名，伺服器使用該路徑名。
（2）如果給出一個有一個或多個前置部件的相對路徑名，伺服器相對伺服器的資料目錄搜尋檔案。
（3）如果給出一個沒有前置部件的一個檔名，伺服器在當前資料庫的資料庫目錄尋找檔案。

例如： /myfile txt”給出的檔案是從伺服器的資料目錄讀取，而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。

相關文章