反問面試官:如何實現叢集內選主

程序员半支烟發表於2024-09-27

面試官經常喜歡問什麼zookeeper選主原理、什麼CAP理論、什麼資料一致性。經常都被問煩了,我就想問問面試官,你自己還會實現一個簡單的叢集內選主呢?估計大部分面試官自己也寫不出來。

本篇使用 JavaNetty 實現簡單的叢集選主過程的示例。

這個示例展示了多個節點透過投票選舉一個新的主節點的過程。Netty 用於節點間的通訊,而每個節點則負責發起和響應選舉訊息。

叢集選主流程

選主流程

咱們且不說zookeeper如何選主,單說人類選主,也是採用少數服從多數的原則。人類選主時,中間會經歷如下過程:

(1)如果我沒有熟悉的或者沒找到能力比我強的,首先投給自己一票。

(2)隨著時間推移,可能後面的人介紹了各自的特點和實力,那我可能會改投給別人。

(3)所有人將投票資訊放入到統計箱中。

(4)最終票數最多的人是領導者。

同樣的,zookeeper在選主時,也是這樣的流程。假設有5個伺服器

  1. 伺服器1先給自身投票
  2. 後續起來的伺服器2也會投自身一票,然後伺服器1觀察到伺服器2的id比較大,則會改投伺服器2
  3. 後續起來的伺服器3也會投自身一票,然後服務1和伺服器2發現伺服器3的id比較大,則都會改投伺服器3。伺服器3被確定為領導者。
  4. 伺服器4起來後也會投自身一票,然後發現伺服器3已經有3票了,立馬改投伺服器3。
  5. 伺服器5與伺服器4的操作一樣。

選主協議

在選主過程中採用的是超過半數的協議。在選主過程中,會需要如下幾類訊息:

  • 投票請求:節點發出自己的投票請求。
  • 接受投票:其餘節點作出判斷,如果覺得id較大,則接受投票。
  • 選舉勝出:當選主節點後,廣播勝出訊息。

程式碼實現

下面模擬3個節點的選主過程,核心步驟如下:

1、定義訊息型別、訊息物件、節點資訊

public enum MessageType {
        VOTE_REQUEST, // 投票請求
        VOTE,         // 投票
        ELECTED       // 選舉完成後的勝出訊息
}
    
public class ElectionMessage implements Serializable {
    private MessageType type;
    private int nodeId;   // 節點ID
    private long zxId;    // ZXID:類似於ZooKeeper中的邏輯時鐘,用於比較
    private int voteFor;  // 投票給的節點ID
}

public class ElectionNode {
    private int nodeId; // 當前節點ID
    private long zxId;  // 當前節點的ZXID
    private volatile int leaderId; // 當前選舉的Leader ID
    private String host;
    private int port;
    private ConcurrentHashMap<Integer, Integer> voteMap = new ConcurrentHashMap<>(); // 此節點對每個節點的投票情況
    private int totalNodes; // 叢集總節點數
}

2、每個節點利用Netty啟動Server

public void start() throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) {
                            ch.pipeline().addLast(
                                    new ObjectDecoder(ClassResolvers.cacheDisabled(null)),
                                    new ObjectEncoder(),
                                    new ElectionHandler(ElectionNode.this));
                        }
                    });

            ChannelFuture future = serverBootstrap.bind(port).sync();
            System.out.println("Node " + nodeId + " started on port " + port);

            // 啟動後開始選舉過程
            startElection();
//            future.channel().closeFuture().sync();


        } catch (Exception e) {

        } finally {
//            bossGroup.shutdownGracefully();
//            workerGroup.shutdownGracefully();
        }
    }

3、啟動後利用Netty傳送投票請求

public void sendVoteRequest(String targetHost, int targetPort) {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(group)
                    .channel(NioSocketChannel.class)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel ch) {
                            ch.pipeline().addLast(
                                    new ObjectDecoder(ClassResolvers.cacheDisabled(null)),
                                    new ObjectEncoder(),
                                    new ElectionHandler(ElectionNode.this));
                        }
                    });

            ChannelFuture future = bootstrap.connect(targetHost, targetPort).sync();
            ElectionMessage voteRequest = new ElectionMessage(ElectionMessage.MessageType.VOTE_REQUEST, nodeId, zxId, nodeId);
            future.channel().writeAndFlush(voteRequest);
//            future.channel().closeFuture().sync();
        } catch (Exception e) {

        } finally {
//            group.shutdownGracefully();
        }
    }

4、節點接受到投票請求後,做相關處理

節點在收到訊息後,做相關邏輯處理:處理投票請求、處理確認投票、處理選主結果

**處理投票請求:**判斷是否是否接受投票資訊。只有在主節點沒確定並且zxId較大時,才傳送投票訊息。如果接受了投票請求的話,則更新本地的投票邏輯,然後給投票節點傳送接受投票的訊息

處理確認投票:如果投票訊息被接受了,則更新本地的投票邏輯。

處理選主結果:如果收到了選主結果的訊息,則更新本地的主節點。

public class ElectionHandler extends ChannelInboundHandlerAdapter {
    private final ElectionNode node;

    public ElectionHandler(ElectionNode node) {
        this.node = node;
    }

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        ElectionMessage electionMessage = (ElectionMessage) msg;
        System.out.println("Node " + node.getNodeId() + " received: " + electionMessage);

        if (electionMessage.getType() == ElectionMessage.MessageType.VOTE_REQUEST) {
            // 判斷是否是否接受投票資訊。只有在主節點沒確定並且zxId較大時,才傳送投票訊息
            // 如果接受了投票請求的話,則更新本地的投票邏輯,然後給投票節點傳送接受投票的訊息
            if (electionMessage.getZxId() >= node.getZxId() && node.getLeaderId() == 0) {
                node.receiveVote(electionMessage.getNodeId());
                ElectionMessage voteMessage = new ElectionMessage(ElectionMessage.MessageType.VOTE, electionMessage.getNodeId(), electionMessage.getZxId(), electionMessage.getNodeId());
                ctx.writeAndFlush(voteMessage);
            } else {
                // 如果已經確定主節點了,直接傳送ELECTED訊息
                sendLeaderInfo(ctx);
            }
        } else if (electionMessage.getType() == ElectionMessage.MessageType.VOTE) {
            // 如果投票訊息被接受了,則更新本地的投票邏輯。
            if (electionMessage.getZxId() >= node.getZxId() && node.getLeaderId() == 0) {
                node.receiveVote(electionMessage.getNodeId());
            } else {
                // 如果已經確定主節點了,直接傳送ELECTED訊息
                sendLeaderInfo(ctx);
            }
        } else if (electionMessage.getType() == ElectionMessage.MessageType.ELECTED) {
            if (node.getLeaderId() == 0) {
                node.setLeaderId(electionMessage.getVoteFor());
            }
        }
    }

5、接受別的節點的投票

這裡是比較關鍵的一步,當確定接受某個節點時,則更新本地的投票數,然後判斷投票數是否超過半數,超過半數則確定主節點。同時,再將主節點廣播出去。

此時,其餘節點接收到選主確認的訊息後,都會更新自己的本地的主節點資訊。

public void receiveVote(int nodeId) {
    voteMap.merge(nodeId, 1, Integer::sum);
    // 比較出votes裡值,取出最大的那個對應的key
    int currentVotes = voteMap.values().stream().max(Integer::compareTo).get();

    if (currentVotes > totalNodes / 2 && leaderId == 0) {
        setLeaderId(nodeId);
        broadcastElected();
    }
}

6、廣播選主結果

/**
 * 廣播選舉結果
 */
private void broadcastElected() {
    for (int i = 1; i <= totalNodes; i++) {
        if (i != nodeId) {
            sendElectedMessage(host, 9000 + i);
        }
    }
}

/**
 * 傳送選舉結果
 *
 * @param targetHost
 * @param targetPort
 */
public void sendElectedMessage(String targetHost, int targetPort) {
    EventLoopGroup group = new NioEventLoopGroup();
    try {
        Bootstrap bootstrap = new Bootstrap();
        bootstrap.group(group)
                .channel(NioSocketChannel.class)
                .handler(new ChannelInitializer<SocketChannel>() {
                    @Override
                    protected void initChannel(SocketChannel ch) {
                        ch.pipeline().addLast(
                                new ObjectDecoder(ClassResolvers.cacheDisabled(null)),
                                new ObjectEncoder(),
                                new ElectionHandler(ElectionNode.this));
                    }
                });

        ChannelFuture future = bootstrap.connect(targetHost, targetPort).sync();
        ElectionMessage electedMessage = new ElectionMessage(ElectionMessage.MessageType.ELECTED, leaderId, zxId, leaderId);
        future.channel().writeAndFlush(electedMessage);
//            future.channel().closeFuture().sync();
    } catch (Exception e) {

    } finally {
//            group.shutdownGracefully();
    }
}

7、完整程式碼

完整程式碼:https://gitee.com/yclxiao/specialty/blob/master/javacore/src/main/java/com/ycl/election/ElectionHandler.java

總結

本文主要演示了一個簡易的多Server的選主過程,以上程式碼是一個簡單的基於Netty實現的叢集選舉過程的示例。在實際場景中,選舉邏輯遠比這個複雜,需要處理更多的網路異常、重複訊息、併發問題等。

希望對你有幫助,如遇問題可加V交流。

本篇完結!歡迎 關注、加V(yclxiao)交流、全網可搜(程式設計師半支菸)

原文連結:https://mp.weixin.qq.com/s/Lxt1ujFicJm-8KYBlVptZQ

相關文章