【Mongo】使用killOp幹掉Long Running Operation
原文地址:
詳解:
-
詳解currentOp()
-
-
gechongrepl:PRIMARY> db.currentOp()
-
{
-
"inprog" : [
-
{
-
"opid" : 6222,
-
"active" : true,
-
"secs_running" : 3,
-
"microsecs_running" : NumberLong(3662328),
-
"op" : "getmore",
-
"ns" : "local.oplog.rs",
-
"query" : {
-
-
},
-
"client" : "192.168.91.132:45745",
-
"desc" : "conn5",
-
"threadId" : "0x7f1370cb4700",
-
"connectionId" : 5,
-
"waitingForLock" : false,
-
"numYields" : 0,
-
"lockStats" : {
-
"timeLockedMicros" : {
-
"r" : NumberLong(141),
-
"w" : NumberLong(0)
-
},
-
"timeAcquiringMicros" : {
-
"r" : NumberLong(16),
-
"w" : NumberLong(0)
-
}
-
}
-
}
-
]
-
}
-
-
-
"opid" : 6222,#程式號
-
"active" : true,#是否活動狀態
-
"secs_running" : 3,#操作執行了多少秒
-
"microsecs_running" : NumberLong(3662328),
-
"op" : "getmore",#操作型別,包括(insert/query/update/remove/getmore/command)
-
"ns" : "local.oplog.rs",#名稱空間
-
"query" : {},#如果op是查詢操作,這裡將顯示查詢內容;也有說這裡顯示具體的操作語句的
-
-
"client" : "192.168.91.132:45745",#連線的客戶端資訊
-
"desc" : "conn5",#資料庫的連線資訊
-
"threadId" : "0x7f1370cb4700",#執行緒ID
-
"connectionId" : 5,#資料庫的連線ID
-
"waitingForLock" : false,#是否等待獲取鎖
-
"numYields" : 0,
-
"lockStats" : {
-
"timeLockedMicros" : {#持有的鎖時間微秒
-
"r" : NumberLong(141),#整個MongoDB例項的全域性讀鎖
-
"w" : NumberLong(0)},#整個MongoDB例項的全域性寫鎖
-
"timeAcquiringMicros" : {#為了獲得鎖,等待的微秒時間
-
"r" : NumberLong(16),#整個MongoDB例項的全域性讀鎖
- "w" : NumberLong(0)}#整個MongoDB例項的全域性寫鎖
MongoDB提供了killOp請求,用於幹掉執行時間很長的請求,killOp通常需要與currentOp組合起來使用;先根據currentOp查詢到請求的opid,然後根據opid傳送killOp的請求。
currentOp
currentOp的使用,參考官方文件
currentOp會將後端Mongod上正在執行的請求都列出來,也可根據查詢條件(如請求型別,請求是否正在等待鎖,請求操作的DB或collection)來進行過濾。
例1:查詢所有正在等待鎖的寫操作
db.currentOp( { "waitingForLock" : true, $or: [ { "op" : { "$in" : [ "insert", "update", "remove" ] } }, { "query.findandmodify": { $exists: true } } ] } )
例2:查詢所有操作db1並且執行時間已超過3s的請求
db.currentOp( { "active" : true, "secs_running" : { "$gt" : 3 }, "ns" : /^db1\./ } )
currentOp的過濾條件包括
- 請求操作型別,insert、update、delete…
- 請求對應的connectionId,threadId
- 請求是否正在等待鎖
- 請求執行時間
- 請求操作的DB或collection
- 請求query的內容
- …
killOp
currentOp的輸出結果裡,每個請求包含一個opid欄位,有了opid,就可以傳送killOp來幹掉對應的請求。
db.killOp(opid)
要了解killOp的意義,需要先搞清楚幾個問題
客戶端到Monogd Server連線斷掉後,連線上執行的請求是否會立即結束?
比如你透過mongo shell,傳送了一個createIndex的請求,給某個包含1000w個文件的集合建立索引,這個請求會耗時很久,你想提前中止請求,Ctrl-C停掉了mongo shell,此時mongo shell到server的連線會關閉掉。
但後端createIndex的請求(MongoDB每個連線的請求由一個對應的執行緒來處理)不會立即結束,而是會一直執行下去,直到createIndex結束,給客戶端傳送應答時,發現連線已經關閉,然後執行緒才退出。
為了讓createIndex早點結束,你就需要killOp來幫忙,透過currentOp找到craeteIndex請求的opid,然後傳送killOp,createIndex會在下個『檢查點』就結束執行,整個執行緒退出。
傳送killOp後,請求是否會立即結束?
killOp的實現原理如下
每個連線對應的服務執行緒儲存了一個killPending的欄位,當傳送killOp時,會將該欄位置1;請求在執行過程中,可以透過不斷的呼叫OperationContext::checkForInterrupt()來檢查killPending是否被設定,如果被設定,則執行緒退出。
一個請求要支援killOp,必須在請求的處理邏輯里加上checkForInterrupt()檢查點才行,否則即使傳送了killOp,也只能等待請求完全處理完畢執行緒才會退出。
比如createIndex的處理邏輯裡包含了類似如下的程式碼,在createIndex的迴圈過程中,一旦killPending被置1了,createIndex的執行可以在當前迴圈結束時退出。
while (!createIndexFinished) { createIndexForOneElement(); checkForInterupt(); }
所以傳送killOp後,請求要執行到下一個『檢查點』執行緒才會退出,MongoDB在很多可能耗時長的請求中,都加入了checkForInterrupt()檢查點,如建立索引,repair database,mapreduce、aggregation等。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29096438/viewspace-2155067/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Long running Operations in OracleOracle
- Error running ‘Application’Command line is too longErrorAPP
- 幹掉Unity3DUnity3D
- Spring Boot中如何幹掉if elseSpring Boot
- NoDBA(幹掉資料庫管理員)資料庫
- 前端工程師如何幹掉設計前端工程師
- 幹掉你程式碼中的壞味道
- 幹掉APT的是人不是技術APT
- 重構:幹掉有壞味道的程式碼
- if else 太多?看我用 Java 8 輕鬆幹掉!Java
- 幹掉 “重複程式碼” 的技巧有哪些
- 用“資料驅動”幹掉遊戲策劃?遊戲
- 使用 GC、Objgraph 幹掉 Python 記憶體洩露與迴圈引用!GCOBJPython記憶體洩露
- 我叫Mongo,幹了「查詢終結篇」,值得您擁有Go
- 誰告訴你 Flutter 會幹掉原生開發?Flutter
- Electron團隊為什麼要幹掉remote模組REM
- Java8的Optional:如何幹掉空指標?Java指標
- 可能需要被幹掉的.mysql_history檔案MySql
- 幹掉Flash,網際網路的弒君之路
- 華為AI晶片真能幹掉英偉達,顛覆現有格局?AI晶片
- mysqldump缺失-q引數導致mysql被oom幹掉MySqlOOM
- iOS 10新特性上手:滑動解鎖被幹掉!iOS
- 文字的力量?黑客用Word幹掉你的電腦黑客
- Linux 幹掉狀態為Z的殭屍程序Linux
- 【Mongo】mongo聚合操作Go
- [Mongo]建立新使用者Go
- 一次專案程式碼重構-使用spring容器幹掉條件判斷Spring
- UOS、鴻蒙、麒麟全面出擊,國產系統能否幹掉Windows?鴻蒙Windows
- 學習ubuntu之幹掉某個被佔用的埠Ubuntu
- NET core 釋出時幹掉多餘的語言包-
- 【Mongo】mongo配置檔案Go
- mongo聚合框架aggregate使用Go框架
- IOS 後臺掛起程式 當程式到後臺後,繼續完成Long Running Task 任務iOS
- 低程式碼平臺會幹掉65%以上的開發工作?
- 阿里 Mock 工具正式開源,幹掉市面上所有 Mock 工具!阿里Mock
- 幹掉複雜的工具類,國產Java工具類庫 Hutool 很香!Java
- 幹掉 powerdesigner,設計資料庫表用它就夠了資料庫
- 電商巨頭亞馬遜能幹掉世界快遞巨頭FedEx嗎?亞馬遜