nsqlookupd：高效能訊息中介軟體 NSQ 解析

post200發表於2021-09-11
SQL
摘要：本篇將會結合原始碼介紹 nsqlookupd 的實現細節。

本篇將會結合原始碼介紹 nsqlookupd 的實現細節。nsqlookupd 主要流程與nsqd 執行邏輯相似，區別在於具體執行的任務不同。

nsqlookupd是nsq管理叢集拓撲資訊以及用於註冊和發現nsqd服務。所以，也可以把nsqlookupd理解為註冊發現服務。當nsq叢集中有多個nsqlookupd服務時，因為每個nsqd都會向所有的nsqlookupd上報本地資訊，因此nsqlookupd具有最終一致性。

入口函式

在 nsq/apps/nsqlookupd/main.go 可以找到執行入口檔案。

// 位於apps/nsqlookupd/main.go:45
func main() {
  prg := &program{}
  if err := svc.Run(prg, syscall.SIGINT, syscall.SIGTERM); err != nil {
    logFatal("%s", err)
  }
}

func (p *program) Init(env svc.Environment) error {
  if env.IsWindowsService() {
    dir := filepath.Dir(os.Args[0])
    return os.Chdir(dir)
  }
  return nil
}

func (p *program) Start() error {
  opts := nsqlookupd.NewOptions()

  flagSet := nsqlookupdFlagSet(opts)
  ...
}

同樣，透過第三方 svc 包進行優雅的後臺程式管理，svc.Run() -> svc.Init() -> svc.Start()，啟動 nsqlookupd 例項。

// 位於 apps/nsqlookupd/main.go:80
options.Resolve(opts, flagSet, cfg)
  nsqlookupd, err := nsqlookupd.New(opts)
  if err != nil {
    logFatal("failed to instantiate nsqlookupd", err)
  }
  p.nsqlookupd = nsqlookupd

  go func() {
    err := p.nsqlookupd.Main()
    if err != nil {
      p.Stop()
      os.Exit(1)
    }
  }()

初始化配置引數(優先順序：flagSet-命令列引數 > cfg-配置檔案 > opts-預設值)，開啟協程，進入 nsqlookupd.Main() 主函式。

監聽請求

我們來看下 nsqlookupd 是如何監聽請求的，程式碼實現如下：

// 位於 nsqlookupd/nsqlookupd.go:53
func (l *NSQLookupd) Main() error {
  ctx := &Context{l}

  exitCh := make(chan error)
  var once sync.Once
  exitFunc := func(err error) {
    once.Do(func() {
      if err != nil {
        l.logf(LOG_FATAL, "%s", err)
      }
      exitCh <- err
    })
  }

  tcpServer := &tcpServer{ctx: ctx}
  l.waitGroup.Wrap(func() {
    exitFunc(protocol.TCPServer(l.tcpListener, tcpServer, l.logf))
  })
  httpServer := newHTTPServer(ctx)
  l.waitGroup.Wrap(func() {
    exitFunc(http_api.Serve(l.httpListener, httpServer, "HTTP", l.logf))
  })

  err := <-exitCh
  return err
}

開啟 goroutine 執行 tcpServer, httpServer，分別監聽 nsqd, nsqadmin 的客戶端請求。

處理請求

// 位於 internal/protocol/tcp_server.go:17
func TCPServer(listener net.Listener, handler TCPHandler, logf lg.AppLogFunc) error {
  logf(lg.INFO, "TCP: listening on %s", listener.Addr())

  for {
    clientConn, err := listener.Accept()
    if err != nil {
      if nerr, ok := err.(net.Error); ok && nerr.Temporary() {
        logf(lg.WARN, "temporary Accept() failure - %s", err)
        runtime.Gosched()
        continue
      }
      // theres no direct way to detect this error because it is not exposed
      if !strings.Contains(err.Error(), "use of closed network connection") {
        return fmt.Errorf("listener.Accept() error - %s", err)
      }
      break
    }
    go handler.Handle(clientConn)
  }

  logf(lg.INFO, "TCP: closing %s", listener.Addr())

  return nil
}

TCPServer 迴圈監聽客戶端請求，建立長連線進行通訊，並開啟 handler 處理每一個客戶端 conn。

裝飾 http 路由

httpServer 透過 http_api.Decorate 裝飾器實現對各 http 路由進行 handler 裝飾，如加 log 日誌、V1 協議版本號的統一格式輸出等；

func newHTTPServer(ctx *Context) *httpServer {
  log := http_api.Log(ctx.nsqlookupd.logf)

  router := httprouter.New()
  router.HandleMethodNotAllowed = true
  router.PanicHandler = http_api.LogPanicHandler(ctx.nsqlookupd.logf)
  router.NotFound = http_api.LogNotFoundHandler(ctx.nsqlookupd.logf)
  router.MethodNotAllowed = http_api.LogMethodNotAllowedHandler(ctx.nsqlookupd.logf)
  s := &httpServer{
    ctx:    ctx,
    router: router,
  }

  router.Handle("GET", "/ping", http_api.Decorate(s.pingHandler, log, http_api.PlainText))
  router.Handle("GET", "/info", http_api.Decorate(s.doInfo, log, http_api.V1))

  // v1 negotiate
  router.Handle("GET", "/debug", http_api.Decorate(s.doDebug, log, http_api.V1))
  router.Handle("GET", "/lookup", http_api.Decorate(s.doLookup, log, http_api.V1))
  router.Handle("GET", "/topics", http_api.Decorate(s.doTopics, log, http_api.V1))
  router.Handle("GET", "/channels", http_api.Decorate(s.doChannels, log, http_api.V1))
}

處理客戶端命令

tcp 解析 V1 協議，內部協議封裝的 prot.IOLoop(conn) 進行迴圈處理客戶端命令，直到客戶端命令全部解析處理完畢才關閉連線。

var prot protocol.Protocol
  switch protocolMagic {
  case "  V1":
    prot = &LookupProtocolV1{ctx: p.ctx}
  default:
    protocol.SendResponse(clientConn, []byte("E_BAD_PROTOCOL"))
    clientConn.Close()
    p.ctx.nsqlookupd.logf(LOG_ERROR, "client(%s) bad protocol magic '%s'",
      clientConn.RemoteAddr(), protocolMagic)
    return
  }

  err = prot.IOLoop(clientConn)

執行命令

透過內部協議進行 p.Exec(執行命令)、p.SendResponse(返回結果)，保證每個 nsqd 節點都能正確的進行服務註冊(register)與登出(unregister)，並進行心跳檢測(ping)節點的可用性，確保客戶端取到的 nsqd 節點列表都是最新可用的。

for {
    line, err = reader.ReadString('n')
    if err != nil {
      break
    }

    line = strings.TrimSpace(line)
    params := strings.Split(line, " ")

    var response []byte
    response, err = p.Exec(client, reader, params)
    if err != nil {
      ctx := ""
      if parentErr := err.(protocol.ChildErr).Parent(); parentErr != nil {
        ctx = " - " + parentErr.Error()
      }
      _, sendErr := protocol.SendResponse(client, []byte(err.Error()))
      if sendErr != nil {
        p.ctx.nsqlookupd.logf(LOG_ERROR, "[%s] - %s%s", client, sendErr, ctx)
        break
      }
      continue
    }

    if response != nil {
      _, err = protocol.SendResponse(client, response)
      if err != nil {
        break
      }
    }
  }

  conn.Close()

nsqlookupd 服務同時開啟 tcp 和 http 兩個監聽服務，nsqd 會作為客戶端，連上 nsqlookupd 的 tcp 服務，並上報自己的 topic 和 channel 資訊，以及透過心跳機制判斷 nsqd 狀態；還有個 http 服務提供給 nsqadmin 獲取叢集資訊。

小結

本文主要介紹 nsqlookupd 的實現，nsqlookupd 同樣是一個守護程式，負責管理拓撲資訊。客戶端透過查詢 nsqlookupd 來發現指定話題（ topic ）的生產者，並且 nsqd 節點廣播話題（topic）和通道（ channel ）資訊。有兩個介面： TCP 介面， nsqd 用它來廣播。 HTTP 介面，客戶端用它來發現和管理。

下一篇文章，將會繼續介紹 nsq 中其他模組實現的細節。

本文分享自華為雲社群《》，原文作者：aoho 。

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/2249/viewspace-2796116/，如需轉載，請註明出處，否則將追究法律責任。

相關文章