MySQL 處理重複資料

有些 MySQL 資料表中可能存在重複的記錄，有些情況我們允許重複資料的存在，但有時候我們也需要刪除這些重複的資料。

本章節我們將為大家介紹如何防止資料表出現重複資料及如何刪除資料表中的重複資料。

 

防止表中出現重複資料

你可以在 MySQL 資料表中設定指定的欄位為 PRIMARY KEY （主鍵） 或者 UNIQUE （唯一） 索引來保證資料的唯一性。

讓我們嘗試一個例項：下表中無索引及主鍵，所以該表允許出現多條重複記錄。

CREATE TABLE person_tbl(first_name CHAR(20),last_name CHAR(20),sex CHAR(10));

如果你想設定表中欄位 first_name ， last_name 資料不能重複，你可以設定雙主鍵模式來設定資料的唯一性， 如果你設定了雙主鍵，那麼那個鍵的預設值不能為 NULL ，可設定為 NOT NULL 。如下所示：

CREATE TABLE person_tbl(first_name CHAR(20) NOT NULL,last_name CHAR(20) NOT NULL,sex CHAR(10),
PRIMARY KEY (last_name, first_name));

如果我們設定了唯一索引，那麼在插入重複資料時， SQL 語句將無法執行成功 , 並丟擲錯。

INSERT IGNORE INTO 與 INSERT INTO 的區別就是 INSERT IGNORE 會忽略資料庫中已經存在的資料，如果資料庫沒有資料，就插入新的資料，如果有資料的話就跳過這條資料。這樣就可以保留資料庫中已經存在資料，達到在間隙中插入資料的目的。

以下例項使用了 INSERT IGNORE INTO ，執行後不會出錯，也不會向資料表中插入重複資料：

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)-> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)-> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO 當插入資料時，在設定了記錄的唯一性後，如果插入重複資料，將不返回錯誤，只以警告形式返回。 而 REPLACE INTO into 如果存在 primary 或 unique 相同的記錄，則先刪除掉。再插入新記錄。

另一種設定資料的唯一性方法是新增一個 UNIQUE 索引，如下所示：

CREATE TABLE person_tbl(first_name CHAR(20) NOT NULL,last_name CHAR(20) NOT NULL,sex CHAR(10)
UNIQUE (last_name, first_name));

 

統計重複資料

以下我們將統計表中 first_name 和 last_name 的重複記錄數：

mysql> SELECT COUNT(*) as repetitions, last_name, first_name-> FROM person_tbl    
-> GROUP BY last_name, first_name -> HAVING repetitions > 1;

以上查詢語句將返回 person_tbl 表中重複的記錄數。 一般情況下，查詢重複的值，請執行以下操作：

l   確定哪一列包含的值可能會重複。

l   在列選擇列表使用 COUNT(*) 列出的那些列。

l   在 GROUP BY 子句中列出的列。

l   HAVING 子句設定重複數大於 1 。

 

過濾重複資料

如果你需要讀取不重複的資料可以在 SELECT 語句中使用 DISTINCT 關鍵字來過濾重複資料。

mysql> SELECT DISTINCT last_name, first_name -> FROM person_tbl;

你也可以使用 GROUP BY 來讀取資料表中不重複的資料：

mysql> SELECT last_name, first_name -> FROM person_tbl -> GROUP BY (last_name, first_name);

刪除重複資料

如果你想刪除資料表中的重複資料，你可以使用以下的 SQL 語句：

mysql> CREATE TABLE tmp SELECT last_name, first_name, 
sex -> FROM person_tbl;->  GROUP BY (last_name, first_name, sex);
mysql> DROP TABLE person_tbl;mysql> ALTER TABLE tmp RENAME TO person_tbl;

當然你也可以在資料表中新增 INDEX （索引） 和 PRIMAY KEY （主鍵）這種簡單的方法來刪除表中的重複記錄。方法如下：

mysql> ALTER IGNORE TABLE person_tbl -> ADD PRIMARY KEY (last_name, first_name);

 

更多 MySQL 課程：