golang使用Nsq

花間隱虎發表於2017-04-25

為什麼要使用Nsq

最近一直在尋找一個高效能,高可用的訊息佇列做內部服務之間的通訊。一開始想到用zeromq,但在查詢資料的過程中,意外的發現了Nsq這個由golang開發的訊息佇列,畢竟是golang原汁原味的東西,功能齊全,關鍵是效能還不錯。其中支援動態擴充,消除單點故障等特性,  都可以很好的滿足我的需求

下面上一張Nsq與其他mq的對比圖,看上去的確強大。下面簡單記錄一下Nsq的使用方法
golang2017開發者大會
圖片來自golang2017開發者大會

Nsq服務端

Nsq服務端簡介

在使用Nsq服務之前,還是有必要了解一下Nsq的幾個核心元件
整個Nsq服務包含三個主要部分

nsqlookupd

先看看官方的原話是怎麼說:
nsqlookupd是守護程式負責管理拓撲資訊。客戶端通過查詢 nsqlookupd 來發現指定話題(topic)的生產者,並且 nsqd 節點廣播話題(topic)和通道(channel)資訊

簡單的說nsqlookupd就是中心管理服務,它使用tcp(預設埠4160)管理nsqd服務,使用http(預設埠4161)管理nsqadmin服務。同時為客戶端提供查詢功能

總的來說,nsqlookupd具有以下功能或特性

  • 唯一性,在一個Nsq服務中只有一個nsqlookupd服務。當然也可以在叢集中部署多個nsqlookupd,但它們之間是沒有關聯的
  • 去中心化,即使nsqlookupd崩潰,也會不影響正在執行的nsqd服務
  • 充當nsqd和naqadmin資訊互動的中介軟體
  • 提供一個http查詢服務,給客戶端定時更新nsqd的地址目錄 

nsqadmin

官方原話:是一套 WEB UI,用來彙集叢集的實時統計,並執行不同的管理任務

總的來說,nsqadmin具有以下功能或特性

  • 提供一個對topic和channel統一管理的操作介面以及各種實時監控資料的展示,介面設計的很簡潔,操作也很簡單
  • 展示所有message的數量,恩....裝X利器
  • 能夠在後臺建立topic和channel,這個應該不常用到
  • nsqadmin的所有功能都必須依賴於nsqlookupd,nsqadmin只是向nsqlookupd傳遞使用者操作並展示來自nsqlookupd的資料

nsqadmin預設的訪問地址是http://127.0.0.1:4171/ 

nsqd

官方原話:nsqd 是一個守護程式,負責接收,排隊,投遞訊息給客戶端

簡單的說,真正幹活的就是這個服務,它主要負責message的收發,佇列的維護。nsqd會預設監聽一個tcp埠(4150)和一個http埠(4151)以及一個可選的https埠

總的來說,nsqd 具有以下功能或特性

  • 對訂閱了同一個topic,同一個channel的消費者使用負載均衡策略(不是輪詢)
  • 只要channel存在,即使沒有該channel的消費者,也會將生產者的message快取到佇列中(注意訊息的過期處理)
  • 保證佇列中的message至少會被消費一次,即使nsqd退出,也會將佇列中的訊息暫存磁碟上(結束程式等意外情況除外)
  • 限定記憶體佔用,能夠配置nsqd中每個channel佇列在記憶體中快取的message數量,一旦超出,message將被快取到磁碟中
  • topic,channel一旦建立,將會一直存在,要及時在管理臺或者用程式碼清除無效的topic和channel,避免資源的浪費

這是官方的圖,第一個channel(meteics)因為有多個消費者,所以觸發了負載均衡機制。後面兩個channel由於沒有消費者,所有的message均會被快取在相應的佇列裡,直到消費者出現

這裡想到一個問題是,如果一個channel只有生產者不停的在投遞message,會不會導致伺服器資源被耗盡?也許nsqd內部做了相應處理,但還是要避免這種情況的出現

Nsq服務端與客戶端的關係

瞭解nsqlookupd,nsqd與客戶端中消費者和生產者的關係

消費者

消費者有兩種方式與nsqd建立連線

  • 消費者直連nsqd,這是最簡單的方式,缺點是nsqd服務無法實現動態伸縮了(當然,自己去實現一個也是可以的)  
  • 消費者通過http查詢nsqlookupd獲取該nsqlookupd上所有nsqd的連線地址,然後再分別和這些nsqd建立連線(官方推薦的做法),但是客戶端會不停的向nsqlookupd查詢最新的nsqd地址目錄(不喜歡用http輪詢這種方式...)
    還是看圖更直接些 ,官方的消費者模型:

clipboard.png

生產者

生產者必須直連nsqd去投遞message(網上說,可以連線到nsqlookupd,讓nsqlookupd自動選擇一個nsqd去完成投遞,但是我用Producer的tcp是連不上nsqlookupd的,不知道http可不可以...),

這裡有一個問題就是如果生產者所連線的nsqd炸了,那麼message就會投遞失敗,所以在客戶端必須自己實現相應的備用方案

安裝Nsq

方法一

  • 首先搭建golang開發環境,這裡就不詳細講了

    • 注意一下,搭建golang環境時最好將bin目錄新增到系統環境(path)裡,省去了每次都要去bin目錄裡執行的麻煩
  • 安裝包管理器godep
go get github.com/tools/godep

執行完後檢查godep是否已經安裝在bin目錄下,一般都會自動安裝,如果沒有,用go install手動安裝下

  • 安裝依賴包assert
go get github.com/bmizerany/assert
  • 安裝Nsq
godep get github.com/bitly/nsq/...

如果安裝成功,bin目錄裡就會出現一大堆nsq_...開頭的可執行檔案

  • PS:如果安裝失敗

    • 像我一樣出現了一大堆"use of internal package not allowed"錯誤,找了半天,才在一個角落裡發現了這句話
      注意:NSQ 保持了 go get 相容,但是不推薦,因為之後不能保證仍然能穩定編譯。

    這時採用方法二安裝

方法二

執行Nsq

執行單機nsqd服務

nsqd是一個獨立的服務,啟動一個nsqd就可以完成message的收發,啟動一個單機的nsqd,很簡單

nsqd

客戶端可以使用http,也可以使用tcp,這裡我使用是官方的go-nsq包做客戶端,使用tcp進行message的收發

  • 傳送
    clipboard.png
  • 接收
    clipboard.png

執行Nsq服務叢集

  • 首先啟動nsqlookud
nsqlookupd
  • 啟動nsqd,並接入剛剛啟動的nsqlookud。這裡為了方便接下來的測試,啟動了兩個nsqd
nsqd --lookupd-tcp-address=127.0.0.1:4160
nsqd --lookupd-tcp-address=127.0.0.1:4160 -tcp-address=0.0.0.0:4152 -http-address=0.0.0.0:4153
  • 啟動nqsadmin
nsqadmin --lookupd-http-address=127.0.0.1:4161

基於go-nsq的客戶端實現

幾個值得注意的地方

  • Producer斷線後不會重連,需要自己手動重連,Consumer斷線後會自動重連
  • Consumer的重連時間配置項有兩個功能(這個設計必須吐槽一下,分開配置更好一點)

    • Consumer檢測到與nsqd的連線斷開後,每隔x秒向nsqd請求重連
    • Consumer每隔x秒,向nsqlookud進行http輪詢,用來更新自己的nsqd地址目錄
    • Consumer的重連時間預設是60s(...菜都涼了),我改成了1s
  • Consumer可以同時接收不同nsqd node的同名topic資料,為了避免混淆,就必須在客戶端進行處理
  • 在AddConurrentHandlers和 AddHandler中設定的介面回撥是在另外的goroutine中執行的
  • Producer不能釋出(Publish)空message,否則會導致panic

go_nsq-send.go

//Nsq傳送測試
package main

import (
 "bufio"
 "fmt"
 "github.com/nsqio/go-nsq"
 "os"
)

var producer *nsq.Producer

// 主函式
func main() {
 strIP1 := "127.0.0.1:4150"
 strIP2 := "127.0.0.1:4152"
 InitProducer(strIP1)

 running := true

 //讀取控制檯輸入
 reader := bufio.NewReader(os.Stdin)
 for running {
  data, _, _ := reader.ReadLine()
  command := string(data)
  if command == "stop" {
   running = false
  }

  for err := Publish("test", command); err != nil; err = Publish("test", command) {
   //切換IP重連
   strIP1, strIP2 = strIP2, strIP1
   InitProducer(strIP1)
  }
 }
 //關閉
 producer.Stop()
}

// 初始化生產者
func InitProducer(str string) {
 var err error
 fmt.Println("address: ", str)
 producer, err = nsq.NewProducer(str, nsq.NewConfig())
 if err != nil {
 panic(err)
 }
}

//釋出訊息
func Publish(topic string, message string) error {
 var err error
 if producer != nil {
  if message == "" { //不能釋出空串,否則會導致error
   return nil
  }
  err = producer.Publish(topic, []byte(message)) // 釋出訊息
  return err
 }
 return fmt.Errorf("producer is nil", err)
}

go_nsq-receive.go

//Nsq接收測試
package main

import (
 "fmt"
 "time"

 "github.com/nsqio/go-nsq"
)

// 消費者
type ConsumerT struct{}

// 主函式
func main() {
 InitConsumer("test", "test-channel", "127.0.0.1:4161")
 for {
  time.Sleep(time.Second * 10)
 }
}

//處理訊息
func (*ConsumerT) HandleMessage(msg *nsq.Message) error {
 fmt.Println("receive", msg.NSQDAddress, "message:", string(msg.Body))
 return nil
}

//初始化消費者
func InitConsumer(topic string, channel string, address string) {
 cfg := nsq.NewConfig()
 cfg.LookupdPollInterval = time.Second          //設定重連時間
 c, err := nsq.NewConsumer(topic, channel, cfg) // 新建一個消費者
 if err != nil {
 panic(err)
 }
 c.SetLogger(nil, 0)        //遮蔽系統日誌
 c.AddHandler(&ConsumerT{}) // 新增消費者介面

 //建立NSQLookupd連線
 if err := c.ConnectToNSQLookupd(address); err != nil {
 panic(err)
 }

 //建立多個nsqd連線
 // if err := c.ConnectToNSQDs([]string{"127.0.0.1:4150", "127.0.0.1:4152"}); err != nil {
 //  panic(err)
 // }

 // 建立一個nsqd連線
 // if err := c.ConnectToNSQD("127.0.0.1:4150"); err != nil {
 //  panic(err)
 // }
}

相關文章