用 etcd 實現服務註冊和發現

KevinYan發表於2019-11-29

系統中實現服務註冊與發現所需的基本功能有

  • 服務註冊:同一service的所有節點註冊到相同目錄下,節點啟動後將自己的資訊註冊到所屬服務的目錄中。
  • 健康檢查:服務節點定時傳送心跳,註冊到服務目錄中的資訊設定一個較短的TTL,執行正常的服務節點每隔一段時間會去更新資訊的TTL。
  • 服務發現:透過名稱能查詢到服務提供外部訪問的 IP 和埠號。比如閘道器代理服務時能夠及時的發現服務中新增節點、丟棄不可用的服務節點,同時各個服務間也能感知對方的存在。

在分散式系統中,如何管理節點間的狀態一直是一個難題,etcd 是由開發並維護的,它使用 Go 語言編寫,並透過Raft 一致性演算法處理日誌複製以保證強一致性。etcd像是專門為叢集環境的服務發現和註冊而設計,它提供了資料 TTL 失效、資料改變監視、多值、目錄監聽、分散式鎖原子操作等功能,可以方便的跟蹤並管理叢集節點的狀態。

我們寫兩個 Demo 程式,一個服務充當service,一個客戶端程式充當閘道器代理。服務執行後會去etcd 以自己服務名命名的目錄中註冊服務節點,並定時續租(更新 TTL)。客戶端從 etcd查詢服務目錄中的節點資訊代理服務的請求,並且會在協程中實時監控服務目錄中的變化,維護到自己的服務節點資訊列表中。

// 將服務註冊到etcd上
func RegisterServiceToETCD(ServiceTarget string, value string) {
    dir = strings.TrimRight(ServiceTarget, "/") + "/"

    client, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"localhost:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
    panic(err)
    }

    kv := clientv3.NewKV(client)
    lease := clientv3.NewLease(client)
    var curLeaseId clientv3.LeaseID = 0

    for {
        if curLeaseId == 0 {
            leaseResp, err := lease.Grant(context.TODO(), 10)
            if err != nil {
              panic(err)
            }

            key := ServiceTarget + fmt.Sprintf("%d", leaseResp.ID)
            if _, err := kv.Put(context.TODO(), key, value, clientv3.WithLease(leaseResp.ID)); err != nil {
                  panic(err)
            }
            curLeaseId = leaseResp.ID
        } else {
      // 續約租約,如果租約已經過期將curLeaseId復位到0重新走建立租約的邏輯
            if _, err := lease.KeepAliveOnce(context.TODO(), curLeaseId); err == rpctypes.ErrLeaseNotFound {
                curLeaseId = 0
                continue
            }
        }
        time.Sleep(time.Duration(1) * time.Second)
    }
}
type HelloService struct {}

func (p *HelloService) Hello(request string, reply *string) error {
    *reply = "hello:" + request
    return nil
}

var serviceTarget = "Hello"
var port = ":1234"
var host = "remote_host"// 虛擬碼

func main() {
    rpc.RegisterName("HelloService", new(HelloService))

    listener, err := net.Listen("tcp", port)
    if err != nil {
        log.Fatal("ListenTCP error:", err)
    }

    conn, err := listener.Accept()
    if err != nil {
        log.Fatal("Accept error:", err)
    }

    go RegisterServiceToETCD(serviceTarget,  host + port)
    rpc.ServeConn(conn)
}

閘道器透過 etcd獲取到服務目錄下的所有節點的資訊,將他們初始化到自身維護的可訪問服務節點列表中。然後使用Watch機制監聽etcd上服務對應的目錄的更新,根據通道傳送過來的PUT和DELETE事件來增加和刪除服務的可用節點列表。

var serviceTarget = "Hello"
type remoteService struct {
  name string
  nodes map[string]string
  mutex sync.Mutex
}

// 獲取服務目錄下所有key初始化到服務的可用節點列表中
func getService(etcdClient clientv3.Client) *remoteService {
    service = &remoteService {
      name: serviceTarget
    } 
    kv := clientv3.NewKV(etcdClient)
    rangeResp, err := kv.Get(context.TODO(), service.name, clientv3.WithPrefix())
    if err != nil {
       panic(err)
    }

    service.mutex.Lock()
    for _, kv := range rangeResp.Kvs {
        service.nodes[string(kv.Key)] = string(kv.Value)
    }
    service.mutex.Unlock()

    go watchServiceUpdate(etcdClient, service)
}

// 監控服務目錄下的事件
func watchServiceUpdate(etcdClient clientv3.Client, service *remoteService) {
    watcher := clientv3.NewWatcher(client)
    // Watch 服務目錄下的更新
    watchChan := watcher.Watch(context.TODO(), service.name, clientv3.WithPrefix())
    for watchResp := range watchChan {
          for _, event := range watchResp.Events {
                service.mutex.Lock()
                switch (event.Type) {
                case mvccpb.PUT://PUT事件,目錄下有了新key
                      service.nodes[string(event.Kv.Key)] = string(event.Kv.Value)
            case mvccpb.DELETE://DELETE事件,目錄中有key被刪掉(Lease過期,key 也會被刪掉)
                      delete(service.nodes, string(event.Kv.Key))
                }
                service.mutex.Unlock()
          }
    }
}

func main () {
  client, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"remote_host:2379"},
        DialTimeout: 5 * time.Second,
    })
  service := getService(client)// 獲取服務的可用節點
  ......
  // 每次有請求過來從服務節點中選取一個連線,然後給節點傳送請求
  rpcClient, _ = rpc.Dial("tcp", service.nodes[i])
  var reply string
  rpcClient.Call("HelloService.hello", &reply)
  ......

}

除了上面說的客戶端或者閘道器發現系統中的已存服務外,系統中的各個服務之間也需要感知到其他角色的存在,服務間的發現方法與上面的例子類似,每個服務都能作為客戶端在 etcd 中發現其他服務的存在。

說明:程式為便於理解有很多虛擬碼,主要是說明思路,想要實際執行起來還需要很多編碼工作,歡迎有這方面經驗的朋友交流想法。

本作品採用《CC 協議》,轉載必須註明作者和本文連結
公眾號:網管叨bi叨 | Golang、Laravel、Docker、K8s等學習經驗分享

相關文章