產品嘴裡的一個小專案,從立項到開發上線,隨著時間和需求的不斷激增,會越來越複雜,變成一個大專案,如果前期專案架構沒設計的不好,程式碼會越來越臃腫,難以維護,後期的每次產品迭代上線都會牽一髮而動全身。專案微服務化,鬆耦合模組間的關係,是一個很好的選擇,隨然增加了維護成本,但是還是很值得的。
微服務化專案除了穩定性我個人還比較關心的幾個問題:
一: 服務間資料傳輸的效率和安全性。
二: 服務的動態擴充,也就是服務的註冊和發現,服務叢集化。
三: 微服務功能的可訂製化,因為並不是所有的功能都會很符合你的需求,難免需要根據自己的需要二次開發一些功能。
go-micro是go語言下的一個很好的rpc微服務框架,功能很完善,而且我關心的幾個問題也解決的很好:
一:服務間傳輸格式為protobuf,效率上沒的說,非常的快,也很安全。
二:go-micro的服務註冊和發現是多種多樣的。我個人比較喜歡etcdv3的服務服務發現和註冊。
三:主要的功能都有相應的介面,只要實現相應的介面,就可以根據自己的需要訂製外掛。
業餘時間把go-micro的原始碼系統地讀了一遍,越讀越感覺這個框架寫的好,從中也學到了很多東西。就想整理一系列的帖子,把學習go-micro的心得和大家分享。
通訊流程
go-micro的通訊流程大至如下
Server監聽客戶端的呼叫,和Brocker推送過來的資訊進行處理。並且Server端需要向Register註冊自己的存在或消亡,這樣Client才能知道自己的狀態。
Register服務的註冊的發現。
Client端從Register中得到Server的資訊,然後每次呼叫都根據演算法選擇一個的Server進行通訊,當然通訊是要經過編碼/解碼,選擇傳輸協議等一系列過程的。
如果有需要通知所有的Server端可以使用Brocker進行資訊的推送。
Brocker 資訊佇列進行資訊的接收和釋出。
go-micro之所以可以高度訂製和他的框架結構是分不開的,go-micro由8個關鍵的interface組成,每一個interface都可以根據自己的需求重新實現,這8個主要的inteface也構成了go-micro的框架結構。
這些介面go-micir都有他自己預設的實現方式,還有一個go-plugins是對這些介面實現的可替換項。你也可以根據需求實現自己的外掛
這篇帖子主要是給大家介紹go-micro的主體結構和這些介面的功能,具體細節以後的文章我們再慢慢說:
Transort
服務之間通訊的介面。也就是服務傳送和接收的最終實現方式,是由這些介面定製的。
原始碼:
type Socket interface {
Recv(*Message) error
Send(*Message) error
Close() error
}
type Client interface {
Socket
}
type Listener interface {
Addr() string
Close() error
Accept(func(Socket)) error
}
type Transport interface {
Dial(addr string, opts ...DialOption) (Client, error)
Listen(addr string, opts ...ListenOption) (Listener, error)
String() string
}複製程式碼
Transport 的Listen方法是一般是Server端進行呼叫的,他監聽一個埠,等待客戶端呼叫。
Transport 的Dial就是客戶端進行連線服務的方法。他返回一個Client介面,這個介面返回一個Client介面,這個Client嵌入了Socket介面,這個介面的方法就是具體傳送和接收通訊的資訊。
http傳輸是go-micro預設的同步通訊機制。當然還有很多其他的外掛:grpc,nats,tcp,udp,rabbitmq,nats,都是目前已經實現了的方式。在go-plugins裡你都可以找到。
Codec
有了傳輸方式,下面要解決的就是傳輸編碼和解碼問題,go-micro有很多種編碼解碼方式,預設的實現方式是protobuf,當然也有其他的實現方式,json、protobuf、jsonrpc、mercury等等。
原始碼
type Codec interface {
ReadHeader(*Message, MessageType) error
ReadBody(interface{}) error
Write(*Message, interface{}) error
Close() error
String() string
}
type Message struct {
Id uint64
Type MessageType
Target string
Method string
Error string
Header map[string]string
}複製程式碼
Codec介面的Write方法就是編碼過程,兩個Read是解碼過程。
Registry
服務的註冊和發現,目前實現的consul,mdns, etcd,etcdv3,zookeeper,kubernetes.等等,
type Registry interface {
Register(*Service, ...RegisterOption) error
Deregister(*Service) error
GetService(string) ([]*Service, error)
ListServices() ([]*Service, error)
Watch(...WatchOption) (Watcher, error)
String() string
Options() Options
}複製程式碼
簡單來說,就是Service 進行Register,來進行註冊,Client 使用watch方法進行監控,當有服務加入或者刪除時這個方法會被觸發,以提醒客戶端更新Service資訊。
預設的是服務註冊和發現是consul,但是個人不推薦使用,因為你不能直接使用consul叢集
我個人比較喜歡etcdv3叢集。大家可以根據自己的喜好選擇。
Selector
以Registry為基礎,Selector 是客戶端級別的負載均衡,當有客戶端向服務傳送請求時, selector根據不同的演算法從Registery中的主機列表,得到可用的Service節點,進行通訊。目前實現的有迴圈演算法和隨機演算法,預設的是隨機演算法。
原始碼:
type Selector interface {
Init(opts ...Option) error
Options() Options
// Select returns a function which should return the next node
Select(service string, opts ...SelectOption) (Next, error)
// Mark sets the success/error against a node
Mark(service string, node *registry.Node, err error)
// Reset returns state back to zero for a service
Reset(service string)
// Close renders the selector unusable
Close() error
// Name of the selector
String() string
}複製程式碼
預設的是實現是本地快取,當前實現的有blacklist,label,named等方式。
Broker
Broker是訊息釋出和訂閱的介面。很簡單的一個例子,因為服務的節點是不固定的,如果有需要修改所有服務行為的需求,可以使服務訂閱某個主題,當有資訊釋出時,所有的監聽服務都會收到資訊,根據你的需要做相應的行為。
原始碼
type Broker interface {
Options() Options
Address() string
Connect() error
Disconnect() error
Init(...Option) error
Publish(string, *Message, ...PublishOption) error
Subscribe(string, Handler, ...SubscribeOption) (Subscriber, error)
String() string
}複製程式碼
Broker預設的實現方式是http方式,但是這種方式不要在生產環境用。go-plugins裡有很多成熟的訊息佇列實現方式,有kafka、nsq、rabbitmq、redis,等等。
Client
Client是請求服務的介面,他封裝Transport和Codec進行rpc呼叫,也封裝了Brocker進行資訊的釋出。
原始碼
type Client interface {
Init(...Option) error
Options() Options
NewMessage(topic string, msg interface{}, opts ...MessageOption) Message
NewRequest(service, method string, req interface{}, reqOpts ...RequestOption) Request
Call(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error
Stream(ctx context.Context, req Request, opts ...CallOption) (Stream, error)
Publish(ctx context.Context, msg Message, opts ...PublishOption) error
String() string
}複製程式碼
當然他也支援雙工通訊 Stream 這些具體的實現方式和使用方式,以後會詳細解說。
預設的是rpc實現方式,他還有grpc和http方式,在go-plugins裡可以找到
Server
Server看名字大家也知道是做什麼的了。監聽等待rpc請求。監聽broker的訂閱資訊,等待資訊佇列的推送等。
原始碼
type Server interface {
Options() Options
Init(...Option) error
Handle(Handler) error
NewHandler(interface{}, ...HandlerOption) Handler
NewSubscriber(string, interface{}, ...SubscriberOption) Subscriber
Subscribe(Subscriber) error
Register() error
Deregister() error
Start() error
Stop() error
String() string
}複製程式碼
預設的是rpc實現方式,他還有grpc和http方式,在go-plugins裡可以找到
Service
Service是Client和Server的封裝,他包含了一系列的方法使用初始值去初始化Service和Client,使我們可以很簡單的建立一個rpc服務。
原始碼:
type Service interface {
Init(...Option)
Options() Options
Client() client.Client
Server() server.Server
Run() error
String() string
}複製程式碼
具體的細節,我以後的帖子會給大家一一展開,希望這篇帖子,可以幫助你對go-micro的整體框架有個初步瞭解