go微服務框架go-micro深度學習(一) 整體架構介紹

li_peng發表於2019-02-26

      產品嘴裡的一個小專案,從立項到開發上線,隨著時間和需求的不斷激增,會越來越複雜,變成一個大專案,如果前期專案架構沒設計的不好,程式碼會越來越臃腫,難以維護,後期的每次產品迭代上線都會牽一髮而動全身。專案微服務化,鬆耦合模組間的關係,是一個很好的選擇,隨然增加了維護成本,但是還是很值得的。

微服務化專案除了穩定性我個人還比較關心的幾個問題:

一: 服務間資料傳輸的效率和安全性。

二: 服務的動態擴充,也就是服務的註冊和發現,服務叢集化。

三: 微服務功能的可訂製化,因為並不是所有的功能都會很符合你的需求,難免需要根據自己的需要二次開發一些功能。

go-micro是go語言下的一個很好的rpc微服務框架,功能很完善,而且我關心的幾個問題也解決的很好:

一:服務間傳輸格式為protobuf,效率上沒的說,非常的快,也很安全。

二:go-micro的服務註冊和發現是多種多樣的。我個人比較喜歡etcdv3的服務服務發現和註冊。

三:主要的功能都有相應的介面,只要實現相應的介面,就可以根據自己的需要訂製外掛。

業餘時間把go-micro的原始碼系統地讀了一遍,越讀越感覺這個框架寫的好,從中也學到了很多東西。就想整理一系列的帖子,把學習go-micro的心得和大家分享。

通訊流程

go-micro的通訊流程大至如下

Server監聽客戶端的呼叫,和Brocker推送過來的資訊進行處理。並且Server端需要向Register註冊自己的存在或消亡,這樣Client才能知道自己的狀態。

Register服務的註冊的發現。

Client端從Register中得到Server的資訊,然後每次呼叫都根據演算法選擇一個的Server進行通訊,當然通訊是要經過編碼/解碼,選擇傳輸協議等一系列過程的。

如果有需要通知所有的Server端可以使用Brocker進行資訊的推送。

Brocker 資訊佇列進行資訊的接收和釋出。

go-micro之所以可以高度訂製和他的框架結構是分不開的,go-micro由8個關鍵的interface組成,每一個interface都可以根據自己的需求重新實現,這8個主要的inteface也構成了go-micro的框架結構。

go微服務框架go-micro深度學習(一) 整體架構介紹

這些介面go-micir都有他自己預設的實現方式,還有一個go-plugins是對這些介面實現的可替換項。你也可以根據需求實現自己的外掛

這篇帖子主要是給大家介紹go-micro的主體結構和這些介面的功能,具體細節以後的文章我們再慢慢說:

Transort

服務之間通訊的介面。也就是服務傳送和接收的最終實現方式,是由這些介面定製的。

原始碼:


type Socket interface {
    Recv(*Message) error
    Send(*Message) error
    Close() error
}

type Client interface {
    Socket
}

type Listener interface {
    Addr() string
    Close() error
    Accept(func(Socket)) error
}

type Transport interface {
    Dial(addr string, opts ...DialOption) (Client, error)
    Listen(addr string, opts ...ListenOption) (Listener, error)
    String() string
}複製程式碼

Transport 的Listen方法是一般是Server端進行呼叫的,他監聽一個埠,等待客戶端呼叫。

Transport 的Dial就是客戶端進行連線服務的方法。他返回一個Client介面,這個介面返回一個Client介面,這個Client嵌入了Socket介面,這個介面的方法就是具體傳送和接收通訊的資訊。

http傳輸是go-micro預設的同步通訊機制。當然還有很多其他的外掛:grpc,nats,tcp,udp,rabbitmq,nats,都是目前已經實現了的方式。在go-plugins裡你都可以找到。

Codec

有了傳輸方式,下面要解決的就是傳輸編碼和解碼問題,go-micro有很多種編碼解碼方式,預設的實現方式是protobuf,當然也有其他的實現方式,json、protobuf、jsonrpc、mercury等等。

原始碼


type Codec interface {
    ReadHeader(*Message, MessageType) error
    ReadBody(interface{}) error
    Write(*Message, interface{}) error
    Close() error
    String() string
}

type Message struct {
    Id     uint64
    Type   MessageType
    Target string
    Method string
    Error  string
    Header map[string]string
}複製程式碼

Codec介面的Write方法就是編碼過程,兩個Read是解碼過程。

Registry

服務的註冊和發現,目前實現的consul,mdns, etcd,etcdv3,zookeeper,kubernetes.等等,


type Registry interface {
    Register(*Service, ...RegisterOption) error
    Deregister(*Service) error
    GetService(string) ([]*Service, error)
    ListServices() ([]*Service, error)
    Watch(...WatchOption) (Watcher, error)
    String() string
    Options() Options
}複製程式碼

簡單來說,就是Service 進行Register,來進行註冊,Client 使用watch方法進行監控,當有服務加入或者刪除時這個方法會被觸發,以提醒客戶端更新Service資訊。

預設的是服務註冊和發現是consul,但是個人不推薦使用,因為你不能直接使用consul叢集

我個人比較喜歡etcdv3叢集。大家可以根據自己的喜好選擇。

Selector

以Registry為基礎,Selector 是客戶端級別的負載均衡,當有客戶端向服務傳送請求時, selector根據不同的演算法從Registery中的主機列表,得到可用的Service節點,進行通訊。目前實現的有迴圈演算法和隨機演算法,預設的是隨機演算法。

原始碼:

type Selector interface {
    Init(opts ...Option) error
    Options() Options
    // Select returns a function which should return the next node
    Select(service string, opts ...SelectOption) (Next, error)
    // Mark sets the success/error against a node
    Mark(service string, node *registry.Node, err error)
    // Reset returns state back to zero for a service
    Reset(service string)
    // Close renders the selector unusable
    Close() error
    // Name of the selector
    String() string
}複製程式碼

預設的是實現是本地快取,當前實現的有blacklist,label,named等方式。

Broker

Broker是訊息釋出和訂閱的介面。很簡單的一個例子,因為服務的節點是不固定的,如果有需要修改所有服務行為的需求,可以使服務訂閱某個主題,當有資訊釋出時,所有的監聽服務都會收到資訊,根據你的需要做相應的行為。

原始碼


type Broker interface {
    Options() Options
    Address() string
    Connect() error
    Disconnect() error
    Init(...Option) error
    Publish(string, *Message, ...PublishOption) error
    Subscribe(string, Handler, ...SubscribeOption) (Subscriber, error)
    String() string
}複製程式碼

Broker預設的實現方式是http方式,但是這種方式不要在生產環境用。go-plugins裡有很多成熟的訊息佇列實現方式,有kafka、nsq、rabbitmq、redis,等等。

Client

Client是請求服務的介面,他封裝Transport和Codec進行rpc呼叫,也封裝了Brocker進行資訊的釋出。

原始碼


type Client interface {
    Init(...Option) error
    Options() Options
    NewMessage(topic string, msg interface{}, opts ...MessageOption) Message
    NewRequest(service, method string, req interface{}, reqOpts ...RequestOption) Request
    Call(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error
    Stream(ctx context.Context, req Request, opts ...CallOption) (Stream, error)
    Publish(ctx context.Context, msg Message, opts ...PublishOption) error
    String() string
}複製程式碼

當然他也支援雙工通訊 Stream 這些具體的實現方式和使用方式,以後會詳細解說。

預設的是rpc實現方式,他還有grpc和http方式,在go-plugins裡可以找到

Server

Server看名字大家也知道是做什麼的了。監聽等待rpc請求。監聽broker的訂閱資訊,等待資訊佇列的推送等。

原始碼


type Server interface {
    Options() Options
    Init(...Option) error
    Handle(Handler) error
    NewHandler(interface{}, ...HandlerOption) Handler
    NewSubscriber(string, interface{}, ...SubscriberOption) Subscriber
    Subscribe(Subscriber) error
    Register() error
    Deregister() error
    Start() error
    Stop() error
    String() string
}複製程式碼

預設的是rpc實現方式,他還有grpc和http方式,在go-plugins裡可以找到

Service

Service是Client和Server的封裝,他包含了一系列的方法使用初始值去初始化Service和Client,使我們可以很簡單的建立一個rpc服務。

原始碼:


type Service interface {
    Init(...Option)
    Options() Options
    Client() client.Client
    Server() server.Server
    Run() error
    String() string
}複製程式碼

具體的細節,我以後的帖子會給大家一一展開,希望這篇帖子,可以幫助你對go-micro的整體框架有個初步瞭解


相關文章