0.引子

最近在看分散式併發工具menagerie，藉助ZooKeeper，實現常用的collection、lock。
menagerie 含金量高，可以作為工具儲備，也可以借鑑開發技巧。

1.ZooKeeper通訊

• 建立ZooKeeper物件，構造過程中會建立ClientCnxn物件，用於命令的傳送、接收
• ClientCnxn 核心包含兩個工作執行緒：sendThread 和 eventThread
• ZooKeeper物件構造完成，會內部呼叫ClientCnxn.start，也就是啟動兩個核心執行緒
• ClientCnxn 負責伺服器通訊，關鍵方法submitRequest，sendThread 完成nio的過程
• 所有的通訊以Packet queue的形式體現

2.ClientCnxn.submitRequest分析

上原始碼：

// 提交操作命令request，結果回填response
public ReplyHeader submitRequest(..., Record request, Record response, ...) {
    ReplyHeader r = new ReplyHeader();
    // Packet 入佇列，喚醒select()
    Packet packet = queuePacket(h, r, request, response, null, null, null, watchRegistration);
    // 典型的執行緒同步操作
    synchronized (packet) {
        while (!packet.finished) {
            packet.wait();
        }
    }
    return r;
}

類似於執行緒池的設計，任務的提交和處理分開實現，或者稱之為生產者消費者的排程。具體的消費、通訊實現，參考SendThread 的run方法。

3.SendThread 分析

• 初始條件，sockKey 是null，觸發startConnect()，典型的nio初始化操作

// 初始化SocketChannel
SocketChannel sock = SocketChannel.open();
sock.configureBlocking(false);
sock.socket().setSoLinger(false, -1);
sock.socket().setTcpNoDelay(true);
// 註冊至selector
sockKey = sock.register(selector, SelectionKey.OP_CONNECT);
// 發起連線操作
conReq.serialize(boa, "connect");

• doIO方法 完成伺服器讀寫的排程
• readResponse方法 完成協議解析，回填response
• finally， packet.notify，至此，通訊完成

// 收尾，執行緒同步完成
private void finishPacket(Packet p) {
    if (p.watchRegistration != null) {
        p.watchRegistration.register(p.replyHeader.getErr());
    }
    // 如果沒有callback,則直接notify，否則加入事件佇列，EventThread負責排程
    if (p.cb == null) {
        synchronized (p) {
            p.finished = true;
            p.notifyAll();
        }
    } else {
        p.finished = true;
        eventThread.queuePacket(p);
    }
}