阿里JAVA手冊之MySQL資料庫(建表規約、索引規約、SQL語句、ORM對映)
碼出高效、碼出質量。
程式碼的字裡行間流淌的是軟體生命中的血液,質量的提升是儘可能少踩坑,杜絕踩重複的坑,切實提升質量意識。另外,現代軟體架構都需要協同開發完成,高效協作即降低協同成本,提升溝通效率,所謂無規矩不成方圓,無規範不能協作。眾所周知,制訂交通法規表面上是要限制行車權,實際上是保障公眾的人身安全。試想如果沒有限速,沒有紅綠燈,誰還敢上路行駛。對軟體來說,適當的規範和標準絕不是消滅程式碼內容的創造性、優雅性,而是限制過度個性化,以一種普遍認可的統一方式一起做事,提升協作效率。
MySQL資料庫
(一) 建表規約
1. 【強制】表達是與否概念的欄位,必須使用is_xxx的方式命名,資料型別是unsigned tinyint( 1表示是,0表示否)。
說明:任何欄位如果為非負數,必須是unsigned。
正例:表達邏輯刪除的欄位名is_deleted,1表示刪除,0表示未刪除。
【點評】規則存疑,更願意用類似deletedflag這樣的欄位,便於擴充套件資料型別用【unsigned
tinyint】,遵循
2.
【強制】表名、欄位名必須使用小寫字母或數字,禁止出現數字開頭,禁止兩個下劃線中間只出現數字。資料庫欄位名的修改代價很大,因為無法進行預釋出,所以欄位名稱需要慎重考慮。
正例:getter_admin,task_config,level3_name
反例:GetterAdmin,taskConfig,level_3_name
【點評】規則好,嚴格遵循
3.【強制】表名不使用複數名詞。
說明:表名應該僅僅表示表裡面的實體內容,不應該表示實體數量,對應於DO類名也是單數形式,符合表達習慣。
【點評】規則好,嚴格遵循
4.【強制】禁用保留字,如desc、range、match、delayed等,請參考MySQL官方保留字。
【點評】規則好,嚴格遵循
5. 【強制】主鍵索引名為pk_欄位名;唯一索引名為uk_欄位名;普通索引名則為idx_欄位名。 說明:pk_ 即primary key;uk_ 即
unique key;idx_ 即index的簡稱。
【點評】規則好,嚴格遵循
6. 【強制】小數型別為decimal,禁止使用float和double。
說明:float和double在儲存的時候,存在精度損失的問題,很可能在值的比較時,得到不正確的結果。如果儲存的資料範圍超過decimal的範圍,建議將資料拆成整數和小數分開儲存。
【點評】規則好,嚴格遵循
7. 【強制】如果儲存的字串長度幾乎相等,使用char定長字串型別。
【點評】規則好,嚴格遵循
8. 【強制】varchar是可變長字串,不預先分配儲存空間,長度不要超過5000,
如果儲存長度大於5000,定義欄位型別為text,獨立出來一張表,用主鍵來對應,避免影響其它欄位索引效率。
【點評】規則好,嚴格遵循
9. 【強制】表必備三欄位:id, gmt_create, gmt_modified。
說明:其中id必為主鍵,型別為unsigned bigint、單表時自增、步長為1。gmt_create,
gmt_modified的型別均為date_time型別。
【點評】規則好,嚴格遵循
,更喜歡用create_time和modify_time
10.【推薦】表的命名最好是加上“業務名稱_表的作用”。
正例:tiger_task / tiger_reader / mpp_config
【點評】規則好,嚴格遵循
11.【推薦】庫名與應用名稱儘量一致。
【點評】規則好,嚴格遵循
12.【推薦】如果修改欄位含義或對欄位表示的狀態追加時,需要及時更新欄位註釋。
【點評】規則好,嚴格遵循
13.【推薦】欄位允許適當冗餘,以提高查詢效能,但必須考慮資料一致。冗餘欄位應遵循:
1)不是頻繁修改的欄位。
2)不是varchar超長欄位,更不能是text欄位。
正例:商品類目名稱使用頻率高,欄位長度短,名稱基本一成不變,可在相關聯的表中冗餘儲存類目名稱,避免關聯查詢。
【點評】規則好,嚴格遵循
14.【推薦】單錶行數超過500萬行或者單表容量超過2GB,才推薦進行分庫分表。
說明:如果預計三年後的資料量根本達不到這個級別,請不要在建立表時就分庫分表。
【點評】規則好,嚴格遵循
15.【參考】合適的字元儲存長度,不但節約資料庫表空間、節約索引儲存,更重要的是提升檢索速度。
正例:如下表,其中無符號值可以避免誤存負數,且擴大了表示範圍。
物件 |
年齡區間 |
型別 |
表示範圍
|
人 |
150歲之內 |
unsigned tinyint |
無符號值:0到255 |
龜 |
數百歲 |
unsigned smallint |
無符號值:0到65535 |
恐龍化石 |
數千萬年 |
unsigned int |
無符號值:0到約42.9億 |
太陽 |
約50億年 |
unsigned bigint |
無符號值:0到約10的19次方 |
【點評】規則好,嚴格遵循
(二) 索引規約
1.【強制】業務上具有唯一特性的欄位,即使是多個欄位的組合,也必須建成唯一索引。
說明:不要以為唯一索引影響了insert速度,這個速度損耗可以忽略,但提高查詢速度是明顯的;
另外,即使在應用層做了非常完善的校驗控制,只要沒有唯一索引,根據墨菲定律,必然有髒資料產生。
【點評】規則好,嚴格遵循
2. 【強制】 超過三個表禁止join。需要join的欄位,資料型別必須絕對一致;多表關聯查詢時,保證被關聯的欄位需要有索引。
說明:即使雙表join也要注意表索引、SQL效能。
【點評】規則好,嚴格遵循
3. 【強制】在varchar欄位上建立索引時,必須指定索引長度,沒必要對全欄位建立索引,根據實際文字區分度決定索引長度即可。
說明:索引的長度與區分度是一對矛盾體,一般對字串型別資料,長度為20的索引,區分度會高達90%以上,
可以使用count(distinct left(列名, 索引長度))/count(*)的區分度來確定。
【點評】規則好,嚴格遵循
4. 【強制】頁面搜尋嚴禁左模糊或者全模糊,如果需要請走搜尋引擎來解決。
說明:索引檔案具有B-Tree的最左字首匹配特性,如果左邊的值未確定,那麼無法使用此索引。
【點評】規則好,嚴格遵循
5. 【推薦】如果有order by的場景,請注意利用索引的有序性。
order by 最後的欄位是組合索引的一部分,並且放在索引組合順序的最後,避免出現file_sort的情況,影響查詢效能。
正例:where a=? and b=? order by c; 索引:a_b_c
反例:索引中有範圍查詢,那麼索引有序性無法利用,如:WHERE a>10 ORDER BY b; 索引a_b無法排序。
【點評】規則好,嚴格遵循
6. 【推薦】利用覆蓋索引來進行查詢操作,避免回表。
說明:如果一本書需要知道第11章是什麼標題,會翻開第11章對應的那一頁嗎?目錄瀏覽一下就好,這個目錄就是起到覆蓋索引的作用。
正例:能夠建立索引的種類:主鍵索引、唯一索引、普通索引,而覆蓋索引是一種查詢的一種效果,用explain的結果,extra列會出現:using
index。
【點評】規則好,嚴格遵循
參考:http://www.cnblogs.com/zl0372/articles/mysql_32.html
話說有這麼一個表:
複製程式碼
CREATE TABLE `user_group` (
`id` int(11) NOT NULL auto_increment,
`uid` int(11) NOT NULL,
`group_id` int(11) NOT NULL,
PRIMARY KEY (`id`),
KEY `uid` (`uid`),
KEY `group_id` (`group_id`),
) ENGINE=InnoDB AUTO_INCREMENT=750366 DEFAULT
CHARSET=utf8
複製程式碼
看AUTO_INCREMENT就知道資料並不多,75萬條。然後是一條簡單的查詢:
SELECT SQL_NO_CACHE uid FROM user_group WHERE group_id =
245;
很簡單對不對?怪異的地方在於:
如果換成MyISAM做儲存引擎的時候,查詢耗時只需要0.01s,用InnoDB卻會是0.15s左右
如果只是就這麼點差距其實不是什麼大不了的事,但是真實的業務需求比這個複雜,造成的差距也很大:MyISAM只需要0.12s,InnoDB則需要2.2s.,最終定位到問題癥結是在這條SQL。
Explain的結果是:
+—-+————-+————+——+—————+———-+———+——-+——+——-+
| id | select_type | table | type | possible_keys |
key | key_len | ref | rows | Extra |
+—-+————-+————+——+—————+———-+———+——-+——+——-+
| 1 | SIMPLE | user_group | ref | group_id |
group_id | 4 | const | 5544 | |
+—-+————-+————+——+—————+———-+———+——-+——+——-+
看起來已經用上索引了,而這條SQL語句已經簡單到讓我無法再優化了。最後請前同事Gaston診斷了一下,他認為:資料分佈上,group_id相同的比較多,uid雜湊的比較均勻,加索引的效果一般,但是還是建議我試著加了一個多列索引:
ALTER TABLE user_group ADD INDEX group_id_uid (group_id,
uid);
然後,不可思議的事情發生了……這句SQL查詢的效能發生了巨大的提升,居然已經可以跑到0.00s左右了。經過優化的SQL再結合真實的業務需求,也從之前2.2s下降到0.05s。
再Explain一次:
+—-+————-+————+——+———————–+————–+———+——-+——+————-+
| id | select_type | table | type |
possible_keys | key | key_len | ref | rows | Extra
|
+—-+————-+————+——+———————–+————–+———+——-+——+————-+
| 1 | SIMPLE | user_group | ref |
group_id,group_id_uid | group_id_uid | 4 | const | 5378 | Using index
|
+—-+————-+————+——+———————–+————–+———+——-+——+————-+
原來是這種叫覆蓋索引(covering
index),MySQL只需要通過索引就可以返回查詢所需要的資料,而不必在查到索引之後再去查詢資料,所以那是相當的快!!但是同時也要求所查詢的欄位必須被索引所覆蓋到,在Explain的時候,輸出的Extra資訊中如果有“Using
Index”,就表示這條查詢使用了覆蓋索引。
不過,還有一個無法解釋的問題就是,不用覆蓋索引的情況下,為什麼用MyISAM就快那麼多,而InnoDB就慢這麼多呢?
7. 【推薦】利用延遲關聯或者子查詢優化超多分頁場景。
說明:MySQL並不是跳過offset行,而是取offset+N行,然後返回放棄前offset行,返回N行,那當offset特別大的時候,效率就非常的低下,
要麼控制返回的總頁數,要麼對超過特定閾值的頁數進行SQL改寫。
正例:先快速定位需要獲取的id段,然後再關聯: SELECT a.* FROM 表1 a, (select id from 表1 where 條件
LIMIT 100000,20 ) b where a.id=b.id
【點評】規則好,嚴格遵循
8. 【推薦】 SQL效能優化的目標:至少要達到 range 級別,要求是ref級別,如果可以是consts最好。
說明:1)consts 單表中最多隻有一個匹配行(主鍵或者唯一索引),在優化階段即可讀取到資料。
2) ref 指的是使用普通的索引(normal index)。
3)range 對索引進行範圍檢索。
反例:explain表的結果,type=index,索引物理檔案全掃描,速度非常慢,這個index級別比較range還低,與全表掃描是小巫見大巫。
【點評】規則好,嚴格遵循
9. 【推薦】建組合索引的時候,區分度最高的在最左邊。
正例:如果where a=? and b=? ,a列的幾乎接近於唯一值,那麼只需要單建idx_a索引即可。
說明:存在非等號和等號混合判斷條件時,在建索引時,請把等號條件的列前置。
如:where a>? and b=? 那麼即使a的區分度更高,也必須把b放在索引的最前列。
【點評】規則好,嚴格遵循
10. 【推薦】防止因欄位型別不同造成的隱式轉換,導致索引失效。
【點評】規則好,嚴格遵循
11. 【參考】建立索引時避免有如下極端誤解:
1)寧濫勿缺。誤認為一個查詢就需要建一個索引。
2)寧缺勿濫。誤認為索引會消耗空間、嚴重拖慢更新和新增速度。
3)抵制惟一索引。誤認為業務的惟一性一律需要在應用層通過“先查後插”方式解決。
【點評】規則好,嚴格遵循
(三) SQL語句
1.
【強制】不要使用count(列名)或count(常量)來替代count(*),count(*)是SQL92定義的標準統計行數的語法,跟資料庫無關,跟NULL和非NULL無關。
說明:count(*)會統計值為NULL的行,而count(列名)不會統計此列為NULL值的行。
【點評】規則好,嚴格遵循
2. 【強制】count(distinct col) 計算該列除NULL之外的不重複行數,
注意 count(distinct col1, col2) 如果其中一列全為NULL,那麼即使另一列有不同的值,也返回為0。
【點評】規則好,嚴格遵循
3.【強制】當某一列的值全是NULL時,count(col)的返回結果為0,但sum(col)的返回結果為NULL,因此使用sum()時需注意NPE問題。
正例:可以使用如下方式來避免sum的NPE問題:SELECT IF(ISNULL(SUM(g)),0,SUM(g)) FROM table;
【點評】規則好,嚴格遵循
4. 【強制】使用ISNULL()來判斷是否為NULL值。注意:NULL與任何值的直接比較都為NULL。
說明: 1) NULL<>NULL的返回結果是NULL,而不是false。
2) NULL=NULL的返回結果是NULL,而不是true。
3) NULL<>1的返回結果是NULL,而不是true。
【點評】規則好,嚴格遵循
5. 【強制】 在程式碼中寫分頁查詢邏輯時,若count為0應直接返回,避免執行後面的分頁語句。
【點評】規則好,嚴格遵循
6. 【強制】不得使用外來鍵與級聯,一切外來鍵概念必須在應用層解決。
說明:(概念解釋)學生表中的student_id是主鍵,那麼成績表中的student_id則為外來鍵。
如果更新學生表中的student_id,同時觸發成績表中的student_id更新,則為級聯更新。
外來鍵與級聯更新適用於單機低併發,不適合分散式、高併發叢集;
級聯更新是強阻塞,存在資料庫更新風暴的風險;外來鍵影響資料庫的插入速度。
【點評】規則好,嚴格遵循
7. 【強制】禁止使用儲存過程,儲存過程難以除錯和擴充套件,更沒有移植性。
【點評】規則好,嚴格遵循
8. 【強制】資料訂正時,刪除和修改記錄時,要先select,避免出現誤刪除,確認無誤才能執行更新語句。
【點評】規則好,嚴格遵循
9. 【推薦】in操作能避免則避免,若實在避免不了,需要仔細評估in後邊的集合元素數量,控制在1000個之內。
【點評】規則好,嚴格遵循
10. 【參考】如果有全球化需要,所有的字元儲存與表示,均以utf-8編碼,注意字元統計函式的區別。
說明: SELECT LENGTH(“輕鬆工作”); 返回為12;
SELECT CHARACTER_LENGTH(“輕鬆工作”); 返回為4
如果要使用表情,那麼使用utfmb4來進行儲存,注意它與utf-8編碼的區別。
【點評】規則好,嚴格遵循
11. 【參考】 TRUNCATE TABLE 比 DELETE
速度快,且使用的系統和事務日誌資源少,但TRUNCATE無事務且不觸發trigger,有可能造成事故,故不建議在開發程式碼中使用此語句。
說明:TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 語句相同。
【點評】規則好,嚴格遵循
(四) ORM對映
1. 【強制】在表查詢中,一律不要使用 * 作為查詢的欄位列表,需要哪些欄位必須明確寫明。
說明:1)增加查詢分析器解析成本。
2)增減欄位容易與resultMap配置不一致。
【點評】規則好,嚴格遵循
2. 【強制】POJO類的布林屬性不能加is,而資料庫欄位必須加is_,要求在resultMap中進行欄位與屬性之間的對映。
說明:參見定義POJO類以及資料庫欄位定義規定,在<resultMap>中增加對映,是必須的。
在MyBatis Generator生成的程式碼中,需要進行對應的修改。
【點評】規則存疑,用flag結尾欄位
3. 【強制】不要用resultClass當返回引數,即使所有類屬性名與資料庫欄位一一對應,也需要定義;
反過來,每一個表也必然有一個與之對應。 說明:配置對映關係,使欄位與DO類解耦,方便維護。
【點評】規則好,嚴格遵循
4. 【強制】sql.xml配置引數使用:#{},#param# 不要使用${} 此種方式容易出現SQL隱碼攻擊。
【點評】規則好,嚴格遵循
5. 【強制】iBATIS自帶的queryForList(String statementName,int start,int
size)不推薦使用。
說明:其實現方式是在資料庫取到statementName對應的SQL語句的所有記錄,再通過subList取start,size的子集合。
正例:Map<String, Object> map = new HashMap<String,
Object>();
map.put(“start”, start);
map.put(“size”, size);
【點評】規則好,嚴格遵循
6. 【強制】不允許直接拿HashMap與Hashtable作為查詢結果集的輸出。
說明:resultClass=”Hashtable”,會置入欄位名和屬性值,但是值的型別不可控。
【點評】規則好,嚴格遵循
7. 【強制】更新資料表記錄時,必須同時更新記錄對應的gmt_modified欄位值為當前時間。
【點評】規則好,嚴格遵循
8. 【推薦】不要寫一個大而全的資料更新介面,傳入為POJO類,不管是不是自己的目標更新欄位,都進行update table set
c1=value1,c2=value2,c3=value3;
這是不對的。執行SQL時,不要更新無改動的欄位,
一是易出錯;
二是效率低;
三是增加binlog儲存。
【點評】規則好,嚴格遵循
9. 【參考】@Transactional事務不要濫用。
事務會影響資料庫的QPS,
另外使用事務的地方需要考慮各方面的回滾方案,包括快取回滾、搜尋引擎回滾、訊息補償、統計修正等。
【點評】規則好,嚴格遵循
10.【參考】<isEqual>中的compareValue是與屬性值對比的常量,一般是數字,表示相等時帶上此條件;
<isNotEmpty>表示不為空且不為null時執行;<isNotNull>表示不為null值時執行。
相關文章
- 資料庫建表及索引規約資料庫索引
- 《阿里巴巴Java開發手冊(正式版)》--MySQL規約阿里JavaMySql
- MySQL建庫建表索引規範MySql索引
- mysql對資料庫表建索引MySql資料庫索引
- 《阿里巴巴Java開發手冊(正式版)》--工程規約阿里Java
- 《阿里巴巴Java開發手冊(正式版)》--安全規約阿里Java
- 阿里巴巴Java開發手冊之安全規約(五)——-我的經驗阿里Java
- 阿里巴巴Java開發手冊之工程規約(四)——-我的經驗阿里Java
- 【MySQL】MySQL基礎(SQL語句、約束、資料型別)MySql資料型別
- 資料庫規約解讀資料庫
- 《阿里巴巴Java開發手冊(正式版)》--程式設計規約阿里Java程式設計
- idea內建資料庫 + sql語句庫表操作Idea資料庫SQL
- 資料庫相關之精彩的ORM對映框架資料庫ORM框架
- mysql 查詢建表語句sqlMySql
- C# ORM從物件到資料庫表的對映C#ORM物件資料庫
- Java物件導向系列[v1.0.0][SQL語法之資料庫約束]Java物件SQL資料庫
- 八、資料庫的歸約,三大正規化(規範資料庫設計)資料庫
- MySQL 規範 (資料庫表設計規範)MySql資料庫
- (轉)oracle資料庫中所有外來鍵約束失效SQL語句Oracle資料庫SQL
- 1.4 資料庫和常用SQL語句(正文)——MySQL資料庫命令和SQL語句資料庫MySql
- 資料庫規範之SQL規範寫法資料庫SQL
- 資料庫-單表結構-建表語句資料庫
- Sql建表語句SQL
- sql 建表語句SQL
- 核對主備庫表的資料sql語句(待完善)SQL
- 【MySQL】資料庫字元校對規則MySql資料庫字元
- mysql新增約束語句筆記MySql筆記
- 阿里巴巴Java開發規範手冊阿里Java
- 【資料庫】SQL語句資料庫SQL
- MySQL之規範資料庫設計MySql資料庫
- mysql之 資料庫開發規範MySql資料庫
- 利用MySQL原資料資訊批量轉換指定庫資料表生成Hive建表語句MySqlHive
- ORACLE 檢查資料庫表中是否存在不規範字 段的語句參考.sqlOracle資料庫SQL
- SQL Server之資料庫語句優化SQLServer資料庫優化
- SQL Server 之資料庫語句優化SQLServer資料庫優化
- MySQL資料庫:6、約束的概述及語法MySql資料庫
- 資料庫系列:覆蓋索引和規避回表資料庫索引
- SQL語句規範總結SQL