分散式協調服務zookeeper總結

一顆向上的草莓發表於2017-12-18

1.zookeeper簡介

1.1簡介

Zookeeper是一個分散式協調服務,換言之,就是為使用者的分散式應用程式提供協調服務

  • zookeeper是為別的分散式程式服務的
  • Zookeeper本身就是一個分散式程式(只要有半數以上節點存活,zk就能正常服務)
  • Zookeeper所提供的服務涵蓋:主從協調、伺服器節點動態上下線、統一配置管理、分散式共享鎖、統一名稱服務
  • 雖然說可以提供各種服務,但是zookeeper在底層其實只提供了兩個功能(管理資料和監聽資料): 管理(儲存,讀取)使用者程式提交的資料; 併為使用者程式提供資料節點監聽服務;

1.2 Zookeeper叢集的角色: Leader 和 follower

Zookeeper在配置檔案中並沒有指定master和slave,啟動之後通過內部的選舉機制選舉出leader和follower,而且只有一個leader,其他則為follower。zookeeper叢集中只要有半數以上節點存活,叢集就能提供服務。 2.zookeeper叢集機制 半數機制:叢集中半數以上機器存活,叢集可用。 zookeeper適合裝在奇數臺機器上!!!

2.zookeeper安裝與配置

2.1zookeeper安裝

  • 安裝到3臺虛擬機器上(需要提前安裝好JDK) 將zookeeper壓縮包上傳至/apps/package目錄並解壓
tar -zxvf zookeeper-3.4.5.tar.gz
複製程式碼
  • 重新命名
mv zookeeper-3.4.5 zookeeper(重新命名資料夾zookeeper-3.4.5為zookeeper)
複製程式碼
  • 修改環境變數
vi /etc/profile
新增內容:
export ZOOKEEPER_HOME=/apps/package/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
複製程式碼
  • 重新編譯檔案: source /etc/profile 三臺機器都需要修改

2.2 修改配置檔案

  • 先複製一份 cd zookeeper/conf cp zoo_sample.cfg zoo.cfg
  • 編輯 vi zoo.cfg
新增內容:
dataDir=/apps/package/zookeeper/data
dataLogDir=/apps/package/zookeeper/log
server.1=mini1:2888:3888
server.2=mini2:2888:3888
server.3=mini3:2888:3888
複製程式碼
  • 建立資料夾:
cd /apps/package/zookeeper
mkdir -m 755 data
mkdir -m 755 log
複製程式碼
  • 在data資料夾下新建myid檔案,myid的檔案內容為:
cd data
vi myid
新增內容:
1
複製程式碼

mini2和mini3伺服器的請修改成2,3,將來會按這個myid選中出leader和follow。

  • 將叢集複製到其他機器上
scp -r /apps/package/zookeeper root@mini2:/apps/package/
scp -r /apps/package/zookeeper root@mini3:/apps/package/
複製程式碼

如果在mini1中ping不通mini2和mini3,需要在hosts檔案中配置mini2和mini3的ip地址

  • 修改其他機器的配置檔案 到mini2上:修改myid為:2 到mini3上:修改myid為:3 而且/etc/profile的路徑也不要忘了修改
  • 啟動(每臺機器)
zkServer.sh start
zkServer.sh start-foreground(可以看到啟動日誌)
複製程式碼
  • 檢視叢集狀態
jps(檢視程式)
zkServer.sh status(檢視叢集狀態,主從資訊)
複製程式碼

如果報埠占用,參考下面連結解決:http://blog.csdn.net/u014686180/article/details/51767863

3.zookeeper資料結構和常用操作

3.1zookeeper特性

  • Zookeeper:一個leader,多個follower組成的叢集
  • 全域性資料一致:每個server儲存一份相同的資料副本,client無論連線到哪個server,資料都是一致的
  • 分散式讀寫,更新請求轉發,由leader實施
  • 更新請求順序進行,來自同一個client的更新請求按其傳送順序依次執行
  • 資料更新原子性,一次資料更新要麼成功,要麼失敗
  • 實時性,在一定時間範圍內,client能讀到最新資料

3.2zookeeper資料結構

  • 層次化的目錄結構;
  • 每個節點在zookeeper中叫做znode,並且其有一個唯一的路徑標識;
  • 節點Znode可以包含資料和子節點(但是EPHEMERAL型別的節點不能有子節點);
  • 客戶端應用可以在節點上設定監視器。

3.3節點型別

  • Znode有兩種型別: 短暫(ephemeral)(斷開連線自己刪除) 持久(persistent)(斷開連線不刪除)
  • Znode有四種形式的目錄節點(預設是persistent ) PERSISTENT PERSISTENT_SEQUENTIAL(持久序列/test0000000019 ) EPHEMERAL EPHEMERAL_SEQUENTIAL
  • 建立znode時設定順序標識,znode名稱後會附加一個值,順序號是一個單調遞增的計數器,由父節點維護
  • 在分散式系統中,順序號可以被用於為所有的事件進行全域性排序,這樣客戶端可以通過順序號推斷事件的順序

使用客戶端操作節點

  • 使用命令連線zookeeper服務端:
zkCli.sh -主機名(ip):2181
如:zkCli.sh -mini2:2181
複製程式碼
  • 使用 ls 命令來檢視當前 ZooKeeper 中所包含的內容:
 ls /
複製程式碼
  • 建立一個新的 znode ,使用 create /zk myData 。這個命令建立了一個新的 znode 節點“ zk ”以及與它關聯的字串:
create /zk "myData“
複製程式碼
  • 我們執行 get 命令來確認 znode 是否包含我們所建立的字串:
get /zk
複製程式碼

-監聽這個節點的變化,當另外一個客戶端改變/zk時,輸出監聽到的變化

get /zk watch
複製程式碼
  • 使用set 命令來對 zk 所關聯的字串進行設定:
set /zk "zsl“
複製程式碼
  • 使用delete刪除 znode 節點:
delete /zk
複製程式碼
  • 刪除節點(與上面的區別是這個可以刪除目錄):rmr
rmr /zk
複製程式碼

參考文件:http://www.cnblogs.com/likehua/tag/zookeeper/

4.使用java操作zookeeper的api

  • 首先需要引入zookeeper的jar包,這個jar包需要依賴其它的jar,可以直接到maven倉庫下載。
<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.4.10</version>
    <type>pom</type>
</dependency>

複製程式碼
  • 常用的增刪查改api操作如下: create 在目錄樹中建立一個節點 delete 刪除一個節點 exists 測試是否存在目標節點 get/set data 從目標節點上讀取 / 更新資料 get/set ACL 獲取 / 設定目標節點訪問控制列表資訊 get children 檢索一個子節點上的列表 sync 等待要被傳送的資料 使用java操作程式碼如下:
public class SimpleZkClient {
    private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";

    private static final int SESSION_TIME_OUT = 2000;

    ZooKeeper zkCli = null;
    @Before
    public void init() throws Exception{
        zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType()+"-----------"+event.getPath());
                try{
                    zkCli.getChildren("/", true);
                }catch (Exception e){

                }

            }
        });
    }

    /**
     * @Description 新增節點資料
     * @Author 劉俊重
     */
    @Test
    public void create() throws Exception{
        // 引數1:要建立的節點的路徑 引數2:節點大資料 引數3:節點的許可權 引數4:節點的型別。上傳的資料可以是任何型別,但都要轉成byte[]
        String s = zkCli.create("/zk", "test".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

    /**
     * @Description 判斷節點是否存在
     * @Author 劉俊重
     */
    @Test
    public void isExist() throws Exception{
        Stat exists = zkCli.exists("/zk", false);
        System.out.println(null==exists?"不存在":"存在");
    }

    /**
     * @Description 獲取節點資料
     * @Author 劉俊重
     */
    @Test
    public void getData() throws Exception{
        byte[] data = zkCli.getData("/zk", false, null);
        System.out.println("節點資料:"+new String(data));
    }

    /**
     * @Description 遍歷節點資料
     * @Author 劉俊重
     */
    @Test
    public void getChildren() throws  Exception{
        List<String> children = zkCli.getChildren("/", false);
        for(String s : children){
            System.out.println("節點名稱:"+s);
        }
        Thread.sleep(Long.MAX_VALUE);
    }

    /**
     * @Description 刪除節點資料
     * @Author 劉俊重
     */
    @Test
    public void delete() throws Exception{
        //引數2:指定要刪除的版本,-1表示刪除所有版本
        zkCli.delete("/zk",-1);
        this.isExist();
    }

    /**
     * @Description 更新節點資料
     * @Author 劉俊重
     */
    @Test
    public void update() throws Exception{
        Stat stat = zkCli.setData("/zk", "newtest".getBytes(), -1);
        this.getData();
    }
}
複製程式碼

Thread.sleep(Long.MAX_VALUE);是為了不讓程式執行完之後立馬結束,讓它睡一會,測試監聽是否實現,同時在process回撥函式中寫了收到通知的操作, zkCli.getChildren("/", true);這時如果我們通過linux命令列操作了zookeeper操作節點就會觸發這裡的監聽事件。

5.zookeeper的使用場景

5.1場景一:客戶端動態感知服務端節點變化,實現高可用

現在假設有這樣一種需求:服務端節點有多個,可以動態的上下線;需要讓任意一臺客戶端都能實時感知服務端節點的變化,進而連線目前可提供服務的節點。 實現思路:我們可以藉助於zookeeper這個第三方中介軟體,在每臺伺服器啟動時都向zookeeper註冊伺服器的節點資訊(比如:/servers/server01;/servers/server02);客戶端每次呼叫之前都通過getChildren方法獲取最新的伺服器節點資訊,同時客戶端在zookeeper註冊監聽,監聽伺服器節點的變化;如果某刻伺服器server01下線了,zookeeper就會發出節點變化通知客戶端,回撥process方法拉取最新的伺服器節點資訊。 服務端程式碼如下:

public class DistributeServer {

    private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";

    private static final int SESSION_TIME_OUT = 2000;

    private static final String PARENT_NODE = "/servers";

    private ZooKeeper zkCli = null;

    /**
     * @Description 獲取連線
     * @Author 劉俊重
     * @Date 2017/12/13
     */
    public void getConnect() throws Exception{
        zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType()+"-----------"+event.getPath());
                try{
                    zkCli.getChildren("/", true);
                }catch (Exception e){

                }

            }
        });
    }

    /**
     * @Description 伺服器啟動時向zookeeper註冊服務資訊
     * @Author 劉俊重
     * @Date 2017/12/13
     */
    public void registerServer(String hostName) throws  Exception {
        String s = zkCli.create(PARENT_NODE + "/", hostName.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        System.out.println("伺服器:"+hostName+"已經註冊完畢");
    }

    /**
     * @Description 模擬實際的業務操作
     * @Author 劉俊重
     * @Date 2017/12/13
     */
    public void handelBusiness(String hostname) throws  Exception {
        System.out.println("伺服器:"+hostname+"正在處理業務。。。");
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws  Exception {
        DistributeServer server = new DistributeServer();
        server.getConnect();
        server.registerServer(args[0]);
        server.handelBusiness(args[0]);
    }
}
複製程式碼

客戶端程式碼如下:

/**
 * @author 劉俊重
 * @Description 模擬客戶端,拉取最新伺服器節點列表並向zookeeper設定監聽
 */
public class DistributeClient {

    private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";

    private static final int SESSION_TIME_OUT = 2000;

    private static final String PARENT_NODE = "/servers";

    private ZooKeeper zkCli = null;

    private volatile List<String> serverList = null;

    /**
     * @Description 獲取連線
     * @Author 劉俊重
     * @Date 2017/12/13
     */
    public void getConnect() throws Exception{
        zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                // 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
                System.out.println(event.getType()+"-----------"+event.getPath());
                try{
                    //重新更新伺服器列表,並且註冊了監聽
                    getServerList();
                }catch (Exception e){

                }

            }
        });
    }

    /**
     * @Description 獲取伺服器子節點資訊,並對父節點進行監聽
     * @Author 劉俊重
     */
    public void getServerList() throws  Exception {
        List<String> children = zkCli.getChildren(PARENT_NODE, true);
        List<String> servers = new ArrayList<String>();
        for(String child : children){
            // child只是子節點的節點名
            byte[] data = zkCli.getData(PARENT_NODE + "/" + child, false, null);
            servers.add(new String(data));
        }
        //把servers賦值給成員變數serverList,以提供給各業務執行緒使用
        serverList = servers;
        System.out.println("節點資料:"+serverList);

    }
    /**
     * @Description 模擬實際的業務操作
     * @Author 劉俊重
     * @Date 2017/12/13
     */
    public void handelBusiness() throws  Exception {
        System.out.println("客戶端開始工作。。。");
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {
        DistributeClient client = new DistributeClient();

        client.getConnect();
        client.getServerList();
        client.handelBusiness();
    }
}
複製程式碼

5.2場景二:分散式鎖實現

假設現在叢集中有50臺機器對某臺機器上的同一檔案進行修改,如何才能保證這個檔案不會被寫亂呢,使用java中的synchronized鎖肯定是不行的,因為這個鎖是對某個程式而言的,而我們這根本就不是在一個伺服器上,怎麼會鎖的住,用zookeeper實現的分散式鎖可以實現。 設計思路:伺服器啟動時都去zookeeper上註冊一個“短暫+序號”的znode節點(如/lock/1;/lock/2),並設定監聽父節點變化;獲取到父節點下所有子節點,並比較序號的大小;約定比如序號最小的獲取鎖,去操作某一檔案,操作完成後刪除自己的節點(相當於釋放鎖),並註冊一個新的“短暫+序號”的znode節點;其它程式收到zookeeper傳送的節點變化的通知之後,去比較序號的大小,看誰獲得新鎖。

public class DistributedClientLock {
    // 會話超時
    private static final int SESSION_TIMEOUT = 2000;
    // zookeeper叢集地址
    private String hosts = "mini1:2181,mini2:2181,mini3:2181";
    private String groupNode = "locks";
    private String subNode = "sub";
    private boolean haveLock = false;

    private ZooKeeper zk;
    // 記錄自己建立的子節點路徑
    private volatile String thisPath;

    /**
     * 連線zookeeper
     */
    public void connectZookeeper() throws Exception {
        zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                try {

                    // 判斷事件型別,此處只處理子節點變化事件
                    if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
                        //獲取子節點,並對父節點進行監聽
                        List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
                        String thisNode = thisPath.substring(("/" + groupNode + "/").length());
                        // 去比較是否自己是最小id
                        Collections.sort(childrenNodes);
                        if (childrenNodes.indexOf(thisNode) == 0) {
                            //訪問共享資源處理業務,並且在處理完成之後刪除鎖
                            doSomething();

                            //重新註冊一把新的鎖
                            thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
                                    CreateMode.EPHEMERAL_SEQUENTIAL);
                        }
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });

        // 1、程式一進來就先註冊一把鎖到zk上
        thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
                CreateMode.EPHEMERAL_SEQUENTIAL);

        // wait一小會,便於觀察
        Thread.sleep(new Random().nextInt(1000));

        // 從zk的鎖父目錄下,獲取所有子節點,並且註冊對父節點的監聽
        List<String> childrenNodes = zk.getChildren("/" + groupNode, true);

        //如果爭搶資源的程式就只有自己,則可以直接去訪問共享資源
        if (childrenNodes.size() == 1) {
            doSomething();
            thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
                    CreateMode.EPHEMERAL_SEQUENTIAL);
        }
    }

    /**
     * 處理業務邏輯,並且在最後釋放鎖
     */
    private void doSomething() throws Exception {
        try {
            System.out.println("gain lock: " + thisPath);
            Thread.sleep(2000);
        } finally {
            System.out.println("finished: " + thisPath);
            //釋放鎖
            zk.delete(this.thisPath, -1);
        }
    }

    public static void main(String[] args) throws Exception {
        DistributedClientLock dl = new DistributedClientLock();
        dl.connectZookeeper();
        Thread.sleep(Long.MAX_VALUE);
    }

}
複製程式碼

參考文件:http://www.cnblogs.com/likehua/tag/zookeeper/

6 zookeeper的選舉機制

6.1全新叢集paxos

以一個簡單的例子來說明整個選舉的過程. 假設有五臺伺服器組成的zookeeper叢集,它們的id從1-5,同時它們都是最新啟動的,也就是沒有歷史資料,在存放資料量這一點上,都是一樣的.假設這些伺服器依序啟動,來看看會發生什麼.

  1. 伺服器1啟動,此時只有它一臺伺服器啟動了,它發出去的報沒有任何響應,所以它的選舉狀態一直是LOOKING狀態
  2. 伺服器2啟動,它與最開始啟動的伺服器1進行通訊,互相交換自己的選舉結果,由於兩者都沒有歷史資料,所以id值較大的伺服器2勝出,但是由於沒有達到超過半數以上的伺服器都同意選舉它(這個例子中的半數以上是3),所以伺服器1,2還是繼續保持LOOKING狀態.
  3. 伺服器3啟動,根據前面的理論分析,伺服器3成為伺服器1,2,3中的老大,而與上面不同的是,此時有三臺伺服器選舉了它,所以它成為了這次選舉的leader.
  4. 伺服器4啟動,根據前面的分析,理論上伺服器4應該是伺服器1,2,3,4中最大的,但是由於前面已經有半數以上的伺服器選舉了伺服器3,所以它只能接收當小弟的命了.
  5. 伺服器5啟動,同4一樣,當小弟.

6.2非全新叢集的選舉機制(資料恢復)

那麼,初始化的時候,是按照上述的說明進行選舉的,但是當zookeeper執行了一段時間之後,有機器down掉,重新選舉時,選舉過程就相對複雜了。 需要加入資料id、leader id和邏輯時鐘。 資料id:資料新的id就大,資料每次更新都會更新id。 Leader id:就是我們配置的myid中的值,每個機器一個。 邏輯時鐘:這個值從0開始遞增,每次選舉對應一個值,也就是說:  如果在同一次選舉中,那麼這個值應該是一致的 ;  邏輯時鐘值越大,說明這一次選舉leader的程式更新. 選舉的標準就變成: 1、邏輯時鐘小的選舉結果被忽略,重新投票 2、統一邏輯時鐘後,資料id大的勝出 3、資料id相同的情況下,leader id大的勝出 根據這個規則選出leader。

相關文章