MongoDB索引實戰技巧

pythontab發表於2014-10-17

索引型別


雖然MongoDB的索引在儲存結構上都是一樣的,但是根據不同的應用層需求,還是分成了唯一索引(unique)、稀疏索引(sparse)、多值索引(multikey)等幾種型別。

唯一索引


唯一索引在建立時加上unique:true 的選項即可,建立命令如下:

db.users.ensureIndex({username: 1}, {unique: true})

上面的唯一索引建立後,如果insert一條username已經存在的資料,則會報如下的錯誤:

E11000 duplicate key error index: gardening.users.$username_1 dup key: { : "kbanker" }

如果你在一個已有資料的collection上建立唯一索引,若唯一索引對應的欄位原來就有重複的資料項,那麼建立會失敗,我們需要加上一個dropDups的選項來強制將重複的項刪除掉,命令如下例:

db.users.ensureIndex({username: 1}, {unique: true, dropDups: true})

鬆散索引


如果你的資料中一些行中沒有某個欄位或欄位值為null,那麼如果在這個欄位上建立普通索引,那麼無此欄位或值null的行也會參與到索引結構中,佔用相應的空間。如果我們不希望這些值為空的行參與到我們的索引中,這時候可以採用鬆散索引,鬆散索引只會讓指定欄位不為空的行參與到索引建立中來。建立一個鬆散索引可以用下面的命令:

db.reviews.ensureIndex({user_id: 1}, {sparse: true})

多值索引


MongoDB可以對一個array型別建立索引,比如像下面的結構,MongoDB可以在tags欄位上建立索引:

{ name: "Wheelbarrow",tags: ["tools", "gardening", "soil"]}

在生成索引時,會為tags中的三個值分別生成三個索引元素,索引中tools,gardening,soil三個值都會指向這同一行資料。相當於分裂成了三個獨立的索引項。

索引管理


索引的建立和刪除


建立和刪除索引的方法有很多種,下面兩個是比較原始的方法,透過對system.indexes這個collection進行相應的寫操作來完成索引的建立:

spec = {ns: "green.users", key: {‘addresses.zip’: 1}, name: ‘zip’}db.system.indexes.insert(spec, true)

上面命令往system.indexes中寫入一條記錄來建立索引,這條記錄包含了要在上面建立索引的collection的名字空間,索引的資訊,以及索引的名稱。

建立完成後,我們可以透過下面命令找到我們建立的索引:

db.system.indexes.find(){ "_id" : ObjectId("4d2205c4051f853d46447e95"), "ns" : "green.users","key" : { "addresses.zip" : 1 }, "name" : "zip", "v" : 0 }

要刪除一個已建立的索引,我們可以使用下面的命令來實現:

use greendb.runCommand({deleteIndexes: "users", index: "zip"})

建立索引命令


實際上建立索引還有更方便的命令,那就是ensureIndex,比如我們建立一個open和close兩個欄位的聯合索引,就可以用下面的命令:

db.values.ensureIndex({open: 1, close: 1})

這個命令會觸發索引建立的兩個過程,一個是將相應的欄位排序,因為索引是按B+樹來組織的,要構建樹,將資料進行排序後能夠提高插入B+樹的效率(第二個過程的效率),在日誌中,你能看到和下面類似的輸出:

Tue Jan 4 09:58:17 [conn1] building new index on { open: 1.0, close: 1.0 } for stocks.values1000000/4308303 23%2000000/4308303 46%3000000/4308303 69%4000000/4308303 92%Tue Jan 4 09:59:13 [conn1] external sort used : 5 files in 55 secs

第二個過程是將排序好的資料插入到索引結構中,構成可用的索引:

1200300/4308303 27%2227900/4308303 51%2837100/4308303 65%3278100/4308303 76%3783300/4308303 87%4075500/4308303 94%Tue Jan 4 10:00:16 [conn1] done building bottom layer, going to commitTue Jan 4 10:00:16 [conn1] done for 4308303 records 118.942secsTue Jan 4 10:00:16 [conn1] insert stocks.system.indexes 118942ms

除了日誌中的輸出外,你還可以透過在終端執行currentOp命令來獲取當前操作執行緒的相關資訊,如下例:

< db.currentOp(){"inprog" : [{"opid" : 58,"active" : true,"lockType" : "write","waitingForLock" : false,"secs_running" : 55,"op" : "insert","ns" : "stocks.system.indexes","query" : {},"client" : "127.0.0.1:53421","desc" : "conn","msg" : "index: (1/3) external sort 3999999/4308303 92%"}]}

最後一部分就是一個索引構建過程,目前正在執行排序過程,執行到92%。

在後臺建立索引


建立索引會對資料庫新增寫鎖,如果資料集比如大,會將線上讀寫資料庫的操作掛起,以等待索引建立結束。這影響了資料庫的正常服務,我們可以透過在建立索引時加background:true 的選項,讓建立工作在後臺執行,這時候建立索引還是需要加寫鎖,但是這個寫鎖不會直接獨佔到索引建立完成,而是會暫停為其它讀寫操作讓路,不至於造成嚴重的效能影響。具體方法:

db.values.ensureIndex({open: 1, close: 1}, {background: true})

離線建立索引


無論如何,索引的建立都會給資料庫造成一定的壓力,從而影響線上服務。如果希望建立索引的過程完全不影響線上服務,我們可以透過將replica sets中的節點先從叢集中剝離,在這個節點上新增相應的索引,等索引新增完畢後再將其新增到replica sets中。這隻需要保證一個條件,就是建立索引的時間不能長於oplog能夠儲存日誌的時間,否則建立完後節點再上線發現再也無法追上primary了,這時會進行resync操作。

索引備份


我們知道,無論是使用mongodump還是mongoexport命令,都只是對資料進行備份,無法備份索引。我們在恢復的時候,還是需要等待漫長的索引建立過程。所以,如果你希望備份的時候帶上索引,那麼最好採用備份資料檔案的方式。

索引壓縮


索引在使用一段時間後,經歷增刪改等操作,會變得比較鬆散,從而戰用不必要的空間,我們可以透過reindex命令,重新組織索引,讓索引的空間佔用變得更小。


相關文章