mongodb之使用explain和hint效能分析和優化

一線碼農發表於2016-08-04
MongoDBAI優化

　　當你第一眼看到explain和hint的時候，第一個反應就是mysql中所謂的這兩個關鍵詞，確實可以看出，這個就是在mysql中借鑑過來的，既然是借鑑

過來的，我想大家都知道這兩個關鍵字的用處，話不多說，速速觀看~~~

 

一：explain演示

1.  構建資料

為了方便演示，我需要create ten data to inventory，而且還是要在no index 的情況下，比如下面這樣：

 1 db.inventory.insertMany([
 2 { "_id" : 1, "item" : "f1", type: "food", quantity: 500 },
 3 { "_id" : 2, "item" : "f2", type: "food", quantity: 100 },
 4 { "_id" : 3, "item" : "p1", type: "paper", quantity: 200 },
 5 { "_id" : 4, "item" : "p2", type: "paper", quantity: 150 },
 6 { "_id" : 5, "item" : "f3", type: "food", quantity: 300 },
 7 { "_id" : 6, "item" : "t1", type: "toys", quantity: 500 },
 8 { "_id" : 7, "item" : "a1", type: "apparel", quantity: 250 },
 9 { "_id" : 8, "item" : "a2", type: "apparel", quantity: 400 },
10 { "_id" : 9, "item" : "t2", type: "toys", quantity: 50 },
11 { "_id" : 10, "item" : "f4", type: "food", quantity: 75 }]);

 

2. 無索引查詢

db.inventory.find(
   { quantity: { $gte: 100, $lte: 200 } }
).explain("executionStats")

 

從上圖中，我們看到了三個圈圈，這些都是我們在find中非常重要的資訊，具體資訊解釋如下：

 

<1>COLLSCAN

      這個是什麼意思呢？ 如果你仔細一看，應該知道就是CollectionScan，就是所謂的“集合掃描”，對不對，看到集合掃描是不是就可以直接map到

資料庫中的table scan/heap scan呢？？？ 是的，這個就是所謂的效能最爛最無奈的由來。

<2> nReturned

      這個很簡單，就是所謂的numReturned，就是說最後返回的num個數，從圖中可以看到，就是最終返回了三條。。。

<3> docsExamined

     那這個是什麼意思呢？？就是documentsExamined，檢查了10個documents。。。而從返回上面的nReturned。。。

 

ok，那從上面三個資訊中，我們可以得出，原來我examine 10 條資料，最終才返回3條，說明做了7條資料scan的無用功，那麼這個時候問題就來了，

如何減少examine的documents。。。

 

完整的plans如下：

/* 1 */
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "datamip.inventory",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [ 
                {
                    "quantity" : {
                        "$lte" : 200.0
                    }
                }, 
                {
                    "quantity" : {
                        "$gte" : 100.0
                    }
                }
            ]
        },
        "winningPlan" : {
            "stage" : "COLLSCAN",
            "filter" : {
                "$and" : [ 
                    {
                        "quantity" : {
                            "$lte" : 200.0
                        }
                    }, 
                    {
                        "quantity" : {
                            "$gte" : 100.0
                        }
                    }
                ]
            },
            "direction" : "forward"
        },
        "rejectedPlans" : []
    },
    "executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 3,
        "executionTimeMillis" : 1,
        "totalKeysExamined" : 0,
        "totalDocsExamined" : 10,
        "executionStages" : {
            "stage" : "COLLSCAN",
            "filter" : {
                "$and" : [ 
                    {
                        "quantity" : {
                            "$lte" : 200.0
                        }
                    }, 
                    {
                        "quantity" : {
                            "$gte" : 100.0
                        }
                    }
                ]
            },
            "nReturned" : 3,
            "executionTimeMillisEstimate" : 0,
            "works" : 12,
            "advanced" : 3,
            "needTime" : 8,
            "needYield" : 0,
            "saveState" : 0,
            "restoreState" : 0,
            "isEOF" : 1,
            "invalidates" : 0,
            "direction" : "forward",
            "docsExamined" : 10
        }
    },
    "serverInfo" : {
        "host" : "localhost.localdomain",
        "port" : 27017,
        "version" : "3.2.8",
        "gitVersion" : "ed70e33130c977bda0024c125b56d159573dbaf0"
    },
    "ok" : 1.0
}
View Code

 

3. 使用single field 加速查詢

   知道前因後果之後，我們就可以進行鍼對性的建立索引，比如在quality欄位之上，如下：

db.inventory.createIndex({ quantity: 1})

db.inventory.find(
   { quantity: { $gte: 100, $lte: 200 } }
).explain("executionStats")

好了，這時候就有意思了，當我們執行完createindex之後，再次explain，4個重要的parameters就漂下來了：

<1> IXSCAN

       這個時候再也不是所謂的COLLSCAN了，而是IndexScan，這就說明我們已經命中索引了。

<2> nReturned,totalDocsExamined，totalKeysExamined

       從圖中可以看到三個引數都是3，這就說明我們的mongodb檢視了3個key，3個document，返回3個文件，這個就是所謂的高效能所在，對吧。

 

二：hint演示

    說到hint，我想大家也是知道的，很好玩的一個東西，就是用來force mongodb to excute special index，對吧，為了方便演示，我們做兩組複合索

引，比如這次我們在quality和type上構建一下：

 

building完成之後，我們故意這一個這樣的查詢，針對quantity是一個範圍，而type是一個定值的情況下，我們force mongodb去使用quantity開頭

的複合索引，從而強制mongodb give up 那個以{type:1,quantity:1}的複合索引，很有意思哦，比如下圖：

從圖中，可以看到，我們檢查了6個keys，而從最終找到了2個文件，現在我們就知道了，2和6之間還是有不足的地方等待我們去優化了，對吧，下面

我們不hint來看一下mongodb的最優的plan是怎麼樣的。

 

再看上面的圖，你應該明白了，mongodb果然執行了那個最優的plan，是不是很好玩，好了，本篇就說到這裡，希望對你有幫助~

 

相關文章