分散式服務協調員zookeeper - 應用場景和監控

bangerlee發表於2015-04-15
分散式

zookeeper在分散式系統中作為協調員的角色，可應用於Leader選舉、分散式鎖、配置管理等服務的實現。以下我們從zookeeper提供的API、應用場景和監控三方面學習和了解zookeeper（以下簡稱ZK）。

 

ZK API

ZK以Unix檔案系統樹結構的形式管理儲存的資料，圖示如下：

其中每個樹節點被稱為znode，每個znode類似一個檔案，包含檔案元資訊(meta data)和資料。

 

以下我們用server表示ZK服務的提供方，client表示ZK服務的使用方，當client連線ZK時，相應建立session會話資訊。

 

有兩種型別的znode：

Regular: 該型別znode只能由client端顯式建立或刪除

Ephemeral: client端可建立或刪除該型別znode；當session終止時，ZK亦會刪除該型別znode

znode建立時還可以被打上sequential標誌，被打上該標誌的znode，將自行加上自增的數字字尾

 

ZK提供了以下API，供client操作znode和znode中儲存的資料：

  • create(path, data, flags)：建立路徑為path的znode，在其中儲存data[]資料，flags可設定為Regular或Ephemeral，並可選打上sequential標誌。
  • delete(path, version)：刪除相應path/version的znode
  • exists(path,watch)：如果存在path對應znode，則返回true；否則返回false，watch標誌可設定監聽事件
  • getData(path, watch)：返回對應znode的資料和元資訊（如version等）
  • setData(path, data, version)：將data[]資料寫入對應path/version的znode
  • getChildren(path, watch)：返回指定znode的子節點集合

 

ZK應用場景

基於以上ZK提供的znode和znode資料的操作，可輕鬆實現Leader選舉、分散式鎖、配置管理等服務。

 

Leader選舉

利用打上sequential標誌的Ephemeral，我們可以實現Leader選舉。假設需要從三個client中選取Leader，實現過程如下：

1、各自建立Ephemeral型別的znode，並打上sequential標誌：

[zk: localhost:2181(CONNECTED) 4] ls /master
[lock-0000000241, lock-0000000243, lock-0000000242]

2、檢查 /master 路徑下的所有znode，如果自己建立的znode序號最小，則認為自己是Leader；否則記錄序號比自己次小的znode

3、非Leader在次小序號znode上設定監聽事件，並重復執行以上步驟2

 

假如以上 /master/lock-0000000241節點被刪除（相應client服務異常或網路異常等原因），那麼 /master/lock-0000000242相應的znode將提升自己為Leader。client只關心自己建立的znode和序號次小的znode，這避免了驚群效應(Herd Effect)。

分散式鎖的實現與以上Leader選舉的實現相同，稍作修改，我們還可以基於ZK實現lease機制（有期限的授權服務）。

 

配置管理

znode可以儲存資料，基於這一點，我們可以用ZK實現分散式系統的配置管理，假設有服務A，A擴容裝置時需要將相應新增的ip/port同步到全網伺服器的A.conf配置，實現過程如下：

1、A擴容時，相應在ZK上新增znode，該znode資料形式如下：

[zk: localhost:2181(CONNECTED) 30] get /A/blk-0000340369
{"svr_info": [{"ip": "1.1.1.1.", "port": "11000"}]}
cZxid = 0x2ffdeda3be
……

2、全網機器監聽 /A，當該znode下有新節點加入時，呼叫相應處理函式，將服務A的新增ip/port加入A.conf

3、完成步驟2後，繼續設定對 /A監聽

 

服務縮容的步驟類似，機器下線時將ZK相應節點刪除，全網機器監聽到該事件後將配置中的裝置剔除。

 

ZK監控

ZK自身提供了一些“四字命令”，通過這些四字命令，我們可以獲得ZK叢集中，某臺ZK的角色、znode數、健康狀態等資訊：

# echo "mntr" | /usr/bin/netcat 127.0.0.1 2181
zk_version      3.4.3-1240972, built on 02/06/2012 10:48 GMT
zk_packets_received     267044485
zk_packets_sent 267069992
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count  16216

常用的四字命令有：

  • mntr：顯示自身角色、znode數、平均呼叫耗時、收包發包數等資訊
  • ruok：診斷自身狀態是否ok
  • cons：展示當前的client連線

 

像不能問一個醉酒的人是否喝醉一樣，我們也不能確信一臺回覆"imok"的ZK就是真的ok，我們可以通過ZK自帶的zkCli.sh模擬client建立/刪除znode：

/usr/local/zookeeper/bin/zkCli.sh create /zookeeper/test 'test' >/dev/null 2>&1
/usr/local/zookeeper/bin/zkCli.sh delete /zookeeper/test >/dev/null 2>&1

再根據返回值判斷新增、刪除znode是否成功，從而判斷該臺ZK狀態是否正常。

 

小結

zookeeper以目錄樹的形式管理資料，提供znode監聽、資料設定等介面，基於這些介面，我們可以實現Leader選舉、配置管理、命名服務等功能。結合四字命令，加上模擬zookeeper client 建立/刪除znode，我們可以實現對zookeeper的有效監控。在各種分散式系統中，我們經常可以看到zookeeper的身影。

 

 

相關文章