Zookeeper
1. Zookeeper概述
1.1 概述
Zookeeper是一個開源的分散式的，為分散式應用提供協調服務的Apache專案。
1.2 特點
1）Zookeeper：一個領導者（leader），多個跟隨者（follower）組成的叢集。
2）Leader負責進行投票的發起和決議，更新系統狀態。
3）Follower用於接收客戶請求並向客戶端返回結果，在選舉Leader過程中參與投票。
4）叢集中只要有半數以上節點存活，Zookeeper叢集就能正常服務。
5）全域性資料一致：每個server儲存一份相同的資料副本，client無論連線到哪個server，資料都是一致的。
6）更新請求順序進行，來自同一個client的更新請求按其傳送順序依次執行。
7）資料更新原子性，一次資料更新要麼成功，要麼失敗。
8）實時性，在一定時間範圍內，client能讀到最新資料。
1.3 資料結構
ZooKeeper資料模型的結構與Unix檔案系統很類似，整體上可以看作是一棵樹，每個節點稱做一個ZNode。每一個ZNode預設能夠儲存1MB的資料，每個ZNode都可以通過其路徑唯一標識。
資料結構圖
1.4 應用場景
提供的服務包括：統一命名服務、統一配置管理、統一叢集管理、伺服器節點動態上下線、軟負載均衡等。
1.4.1 統一命名服務
在分散式環境下，經常需要對應用/服務進行統一命名，便於識別不同服務。
（1）類似於域名與ip之間對應關係，ip不容易記住，而域名容易記住。
（2）通過名稱來獲取資源或服務的地址，提供者等資訊。
1.4.2 統一配置管理
1）分散式環境下，配置檔案管理和同步是一個常見問題。
（1）一個叢集中，所有節點的配置資訊是一致的，比如 Hadoop 叢集。
（2）對配置檔案修改後，希望能夠快速同步到各個節點上。
2）配置管理可交由ZooKeeper實現。
（1）可將配置資訊寫入ZooKeeper上的一個Znode。
（2）各個節點監聽這個Znode。
（3）一旦Znode中的資料被修改，ZooKeeper將通知各個節點。
1.4.3 統一叢集管理
1）分散式環境中，實時掌握每個節點的狀態是必要的。
（1）可根據節點實時狀態做出一些調整。
2）可交由ZooKeeper實現。
（1）可將節點資訊寫入ZooKeeper上的一個Znode。
（2）監聽這個Znode可獲取它的實時狀態變化。
3）典型應用
（1）HBase中Master狀態監控與選舉。
1.4.4 伺服器節點動態上下線
客戶端能實時洞察到伺服器上下線的變化.
1.4.5 軟負載均衡
負載均衡，英文名稱為Load Balance，其含義就是指將負載（工作任務）進行平衡、分攤到多個操作單元上進行執行，例如FTP伺服器、Web伺服器、企業核心應用伺服器和其它主要任務伺服器等，從而協同完成工作任務。
1.5 下載地址
1）官網首頁：
2. Zookeeper安裝
2.1. 叢集規劃
在hadoop01、hadoop02和hadoop03三個節點上部署Zookeeper。
2.2. 解壓安裝
（1）解壓zookeeper安裝包到/opt/module/目錄下
[root@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個目錄下建立data
mkdir -p data
（3）重新命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
mv zoo_sample.cfg zoo.cfg
2.3. 配置zoo.cfg檔案
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/data
增加如下配置
#######################cluster##########################
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
（2）配置引數解讀
Server.A=B:C:D。
A是一個數字，表示這個是第幾號伺服器；
B是這個伺服器的ip地址；
C是這個伺服器與叢集中的Leader伺服器交換資訊的埠；
D是萬一叢集中的Leader伺服器掛了，需要一個埠來重新進行選舉，選出一個新的Leader，而這個埠就是用來執行選舉時伺服器相互通訊的埠。
叢集模式下配置一個檔案myid，這個檔案在dataDir目錄下，這個檔案裡面有一個資料就是A的值，Zookeeper啟動時讀取此檔案，拿到裡面的資料與zoo.cfg裡面的配置資訊比較從而判斷到底是哪個server。
2.4. 叢集操作
（1）在/opt/module/zookeeper-3.4.10/data目錄下建立一個myid的檔案
touch myid
新增myid檔案，注意一定要在linux裡面建立，在notepad++裡面很可能亂碼
（2）編輯myid檔案
vi myid
在檔案中新增與server對應的編號：如1
（3）分發拷貝配置好的zookeeper到其他機器上
（4）分別啟動zookeeper
[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop03 zookeeper-3.4.10]# bin/zkServer.sh start
（5）檢視狀態
[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop03 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
2.5. 附zoo.cfg檔案中引數含義
1）tickTime=2000：通訊心跳數，Zookeeper伺服器心跳時間，單位毫秒
Zookeeper使用的基本時間，伺服器之間或客戶端與伺服器之間維持心跳的時間間隔，也就是每個tickTime時間就會傳送一個心跳，時間單位為毫秒。
它用於心跳機制，並且設定最小的session超時時間為兩倍心跳時間。(session的最小超時時間是2*tickTime)
2）initLimit=10：Leader和Follower初始通訊時限
叢集中的follower跟隨者伺服器與leader領導者伺服器之間初始連線時能容忍的最多心跳數（tickTime的數量），用它來限定叢集中的Zookeeper伺服器連線到Leader的時限。
投票選舉新leader的初始化時間
Follower在啟動過程中，會從Leader同步所有最新資料，然後確定自己能夠對外服務的起始狀態。
Leader允許Follower在initLimit時間內完成這個工作。
3）syncLimit=5：Leader和Follower同步通訊時限
叢集中Leader與Follower之間的最大響應時間單位，假如響應超過syncLimit * tickTime，Leader認為Follwer死掉，從伺服器列表中刪除Follwer。
在執行過程中，Leader負責與ZK叢集中所有機器進行通訊，例如通過一些心跳檢測機制，來檢測機器的存活狀態。
如果L發出心跳包在syncLimit之後，還沒有從F那收到響應，那麼就認為這個F已經不線上了。
4）dataDir：資料檔案目錄+資料持久化路徑
儲存記憶體資料庫快照資訊的位置，如果沒有其他說明，更新的事務日誌也儲存到資料庫。
5）clientPort=2181：客戶端連線埠
監聽客戶端連線的埠
3. Zookeeper shell客戶端操作
|
命令基本語法 |
功能描述 |
|
help |
顯示所有操作命令 |
|
ls path [watch] |
使用 ls 命令來檢視當前znode中所包含的內容 |
|
ls2 path [watch] |
檢視當前節點資料並能看到更新次數等資料 |
|
create |
普通建立 -s 含有序列 -e 臨時（重啟或者超時消失） |
|
get path [watch] |
獲得節點的值 |
|
set |
設定節點的具體值 |
|
stat |
檢視節點狀態 |
|
delete |
刪除節點 |
|
rmr |
遞迴刪除節點 |
1）啟動客戶端
[root@hadoop103 zookeeper-3.4.10]$ bin/zkCli.sh
2）顯示所有操作命令
[zk: localhost:2181(CONNECTED) 1] help
3）檢視當前znode中所包含的內容
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
4）檢視當前節點資料並能看到更新次數等資料
[zk: localhost:2181(CONNECTED) 1] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
5）建立普通節點
[zk: localhost:2181(CONNECTED) 2] create /app1 "hello app1"
Created /app1
[zk: localhost:2181(CONNECTED) 4] create /app1/server101 "192.168.1.101"
Created /app1/server101
6）獲得節點的值
[zk: localhost:2181(CONNECTED) 6] get /app1
hello app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x20000000a
mtime = Mon Jul 17 16:08:35 CST 2017
pZxid = 0x20000000b
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 10
numChildren = 1
[zk: localhost:2181(CONNECTED) 8] get /app1/server101
192.168.1.101
cZxid = 0x20000000b
ctime = Mon Jul 17 16:11:04 CST 2017
mZxid = 0x20000000b
mtime = Mon Jul 17 16:11:04 CST 2017
pZxid = 0x20000000b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0
7）建立短暫節點
[zk: localhost:2181(CONNECTED) 9] create -e /app 8888
（1）在當前客戶端是能檢視到的
[zk: localhost:2181(CONNECTED) 10] ls /
[app1, app, zookeeper]
（2）退出當前客戶端然後再重啟客戶端
[zk: localhost:2181(CONNECTED) 12] quit
[root@hadoop104 zookeeper-3.4.10]$ bin/zkCli.sh
（3）再次檢視根目錄下短暫節點已經刪除
[zk: localhost:2181(CONNECTED) 0] ls /
[app1, zookeeper]
8）建立帶序號的節點
（1）先建立一個普通的根節點app2
[zk: localhost:2181(CONNECTED) 11] create /app2 "app2"
（2）建立帶序號的節點
[zk: localhost:2181(CONNECTED) 13] create -s /app2/aa 888
Created /app2/aa0000000000
[zk: localhost:2181(CONNECTED) 14] create -s /app2/bb 888
Created /app2/bb0000000001
[zk: localhost:2181(CONNECTED) 15] create -s /app2/cc 888
Created /app2/cc0000000002
如果原節點下有1個節點，則再排序時從1開始，以此類推。
[zk: localhost:2181(CONNECTED) 16] create -s /app1/aa 888
Created /app1/aa0000000001
9）修改節點資料值
[zk: localhost:2181(CONNECTED) 2] set /app1 999
10）節點的值變化監聽
（1）在104主機上註冊監聽/app1節點資料變化
[zk: localhost:2181(CONNECTED) 26] get /app1 watch
（2）在103主機上修改/app1節點的資料
[zk: localhost:2181(CONNECTED) 5] set /app1 777
（3）觀察104主機收到資料變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/app1
11）節點的子節點變化監聽（路徑變化）
（1）在02主機上註冊監聽/app1節點的子節點變化
[zk: localhost:2181(CONNECTED) 1] ls /app1 watch
[aa0000000001, server101]
（2）在03主機/app1節點上建立子節點
[zk: localhost:2181(CONNECTED) 6] create /app1/bb 666
Created /app1/bb
（3）觀察02主機收到子節點變化的監聽
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/app1
12）刪除節點
[zk: localhost:2181(CONNECTED) 4] delete /app1/bb
13）遞迴刪除節點
[zk: localhost:2181(CONNECTED) 7] rmr /app2
14）檢視節點狀態
[zk: localhost:2181(CONNECTED) 12] stat /app1
cZxid = 0x20000000a
ctime = Mon Jul 17 16:08:35 CST 2017
mZxid = 0x200000018
mtime = Mon Jul 17 16:54:38 CST 2017
pZxid = 0x20000001c
cversion = 4
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 2
4. Java API應用
4.1. 建立ZooKeeper客戶端
|
private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zkClient = null;
@Before public void init() throws Exception {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() { @Override public void process(WatchedEvent event) { // 收到事件通知後的回撥函式（使用者的業務邏輯） System.out.println(event.getType() + "--" + event.getPath());
// 再次啟動監聽 try { zkClient.getChildren("/", true); } catch (Exception e) { e.printStackTrace(); } } }); } |
4.2. 建立子節點
|
// 建立子節點 @Test public void create() throws Exception { // 資料的增刪改查 // 引數1：要建立的節點的路徑； 引數2：節點資料 ； 引數3：節點許可權 ；引數4：節點的型別 String nodeCreated = zkClient.create("/eclipse", "hello zk".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); } |
4.3. 獲取子節點並監聽
|
// 獲取子節點 @Test public void getChildren() throws Exception { List<String> children = zkClient.getChildren("/", true);
for (String child : children) { System.out.println(child); }
// 延時阻塞 Thread.sleep(Long.MAX_VALUE); } |
4.4. 判斷znode是否存在
|
// 判斷znode是否存在 @Test public void exist() throws Exception { Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat == null ? "not exist" : "exist"); } |
5. 案例實戰
5.1. 監聽伺服器節點動態上下線案例
1） 需求：某分散式系統中，主節點可以有多臺，可以動態上下線，任意一臺客戶端都能實時感知到主節點伺服器的上下線
5.2. 需求分析
5.3. 程式碼實現
（1）現在叢集上建立/servers節點
[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers
（2）建立工程並匯入依賴
|
<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.10</version> </dependency> |
（3）伺服器端程式碼
|
import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.ZooDefs.Ids;
public class DistributeServer {
private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers";
// 建立到zk的客戶端連線 public void getConnect() throws IOException{
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
} }); }
// 註冊伺服器 public void registServer(String hostname) throws Exception{ String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname +" is noline "+ create); }
// 業務功能 public void business(String hostname) throws Exception{ System.out.println(hostname+" is working ...");
Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception { // 獲取zk連線 DistributeServer server = new DistributeServer(); server.getConnect();
// 利用zk連線註冊伺服器資訊 server.registServer(args[0]);
// 啟動業務功能 server.business(args[0]); } } |
（4）客戶端程式碼
|
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooKeeper;
public class DistributeClient { private static String connectString = "hadoop01:2181,hadoop02:2181,hadoop03:2181"; private static int sessionTimeout = 2000; private ZooKeeper zk = null; private String parentNode = "/servers"; private volatile ArrayList<String> serversList = new ArrayList<>();
// 建立到zk的客戶端連線 public void getConnect() throws IOException { zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override public void process(WatchedEvent event) {
// 再次啟動監聽 try { getServerList(); } catch (Exception e) { e.printStackTrace(); } } }); }
// public void getServerList() throws Exception {
// 獲取伺服器子節點資訊，並且對父節點進行監聽 List<String> children = zk.getChildren(parentNode, true); ArrayList<String> servers = new ArrayList<>();
for (String child : children) { byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data)); }
// 把servers賦值給成員serverList，已提供給各業務執行緒使用 serversList = servers;
System.out.println(serversList); }
// 業務功能 public void business() throws Exception { System.out.println("client is working ..."); Thread.sleep(Long.MAX_VALUE); }
public static void main(String[] args) throws Exception {
// 獲取zk連線 DistributeClient client = new DistributeClient(); client.getConnect();
// 獲取servers的子節點資訊，從中獲取伺服器資訊列表 client.getServerList();
// 業務程式啟動 client.business(); } } |
僅供參考，有錯誤還請指出！
有什麼想法，評論區留言，互相指教指教。
覺得不錯的可以點一下右邊的推薦喲