Go 實現簡易 RPC 框架

Jiahonzheng發表於2019-03-11

本文旨在講述 RPC 框架設計中的幾個核心問題及其解決方法,並基於 Golang 反射技術,構建了一個簡易的 RPC 框架。

專案地址:Tiny-RPC

RPC

RPC(Remote Procedure Call),即遠端過程呼叫,可以理解成,服務 A 想呼叫不在同一記憶體空間的服務 B 的函式,由於不在一個記憶體空間,不能直接呼叫,需要通過網路來表達呼叫的語義和傳達呼叫的資料。

服務端

RPC 服務端需要解決 2 個問題:

  • 由於客戶端傳送的是 RPC 函式名,服務端如何維護 函式名 與 函式實體 之間的對映
  • 服務端如何根據 函式名 實現對應的 函式實體 的呼叫

核心流程

  • 維護函式名到函式的對映
  • 在接收到來自客戶端的函式名、引數列表後,解析引數列表為反射值,並執行對應函式
  • 對函式執行結果進行編碼,並返回給客戶端

方法註冊

服務端需要維護 RPC 函式名到 RPC 函式實體的對映,我們可以使用 map 資料結構來維護對映關係。

type Server struct {
	addr  string
	funcs map[string]reflect.Value
}

// Register a method via name
func (s *Server) Register(name string, f interface{}) {
	if _, ok := s.funcs[name]; ok {
		return
	}
	s.funcs[name] = reflect.ValueOf(f)
}
複製程式碼

執行呼叫

一般來說,客戶端在呼叫 RPC 時,會將 函式名 和 引數列表 作為請求資料,傳送給服務端。

由於我們使用了 map[string]reflect.Value 來維護函式名與函式實體之間的對映,則我們可以通過 Value.Call() 來呼叫與函式名相對應的函式。

程式碼地址:https://play.golang.org/p/jaPHviCbe5K

package main

import (
	"fmt"
	"reflect"
)

func main() {
	// Register methods
	funcs := make(map[string]reflect.Value)
	funcs["add"] = reflect.ValueOf(add)

	// When receives client's request
	req := []reflect.Value{reflect.ValueOf(1), reflect.ValueOf(2)}
	vals := funcs["add"].Call(req)
	var rsp []interface{}
	for _, val := range vals {
		rsp = append(rsp, val.Interface())
	}

	fmt.Println(rsp)
}

func add(a, b int) (int, error) {
	return a + b, nil
}
複製程式碼

具體實現

由於篇幅的限制,此處沒有貼出服務端實現的具體程式碼,細節請檢視專案地址

客戶端

RPC 客戶端需要解決 1 個問題:

  • 由於函式的具體實現在服務端,客戶端只有函式的原型,客戶端如何通過 函式原型 呼叫其 函式實體

核心流程

  • 對呼叫者傳入的函式引數進行編碼,並傳送給服務端
  • 對服務端響應資料進行解碼,並返回給呼叫者

生成呼叫

我們可以通過 reflect.MakeFunc 為指定的函式原型繫結一個函式實體。

程式碼地址: https://play.golang.org/p/AaedlW9U-6n

package main

import (
	"fmt"
	"reflect"
)

func main() {
	add := func(args []reflect.Value) []reflect.Value {
		result := args[0].Interface().(int) + args[1].Interface().(int)
		return []reflect.Value{reflect.ValueOf(result)}
	}

	var addptr func(int, int) int
	container := reflect.ValueOf(&addptr).Elem()
	v := reflect.MakeFunc(container.Type(), add)
	container.Set(v)

	fmt.Println(addptr(1, 2))
}
複製程式碼

具體實現

由於篇幅的限制,此處沒有貼出客戶端實現的具體程式碼,細節請檢視專案地址

資料傳輸格式

我們需要定義服務端與客戶端互動的資料格式。

type Data struct {
	Name string        // service name
	Args []interface{} // request's or response's body except error
	Err  string        // remote server error
}
複製程式碼

與互動資料相對應的編碼與解碼函式。

func encode(data Data) ([]byte, error) {
	var buf bytes.Buffer
	encoder := gob.NewEncoder(&buf)
	if err := encoder.Encode(data); err != nil {
		return nil, err
	}
	return buf.Bytes(), nil
}

func decode(b []byte) (Data, error) {
	buf := bytes.NewBuffer(b)
	decoder := gob.NewDecoder(buf)
	var data Data
	if err := decoder.Decode(&data); err != nil {
		return Data{}, err
	}
	return data, nil
}
複製程式碼

同時,我們需要定義簡單的 TLV 協議(固定長度訊息頭 + 變長訊息體),規範資料的傳輸。

// Transport struct
type Transport struct {
	conn net.Conn
}

// NewTransport creates a transport
func NewTransport(conn net.Conn) *Transport {
	return &Transport{conn}
}

// Send data
func (t *Transport) Send(req Data) error {
	b, err := encode(req) // Encode req into bytes
	if err != nil {
		return err
	}
	buf := make([]byte, 4+len(b))
	binary.BigEndian.PutUint32(buf[:4], uint32(len(b))) // Set Header field
	copy(buf[4:], b)                                    // Set Data field
	_, err = t.conn.Write(buf)
	return err
}

// Receive data
func (t *Transport) Receive() (Data, error) {
	header := make([]byte, 4)
	_, err := io.ReadFull(t.conn, header)
	if err != nil {
		return Data{}, err
	}
	dataLen := binary.BigEndian.Uint32(header) // Read Header filed
	data := make([]byte, dataLen)              // Read Data Field
	_, err = io.ReadFull(t.conn, data)
	if err != nil {
		return Data{}, err
	}
	rsp, err := decode(data) // Decode rsp from bytes
	return rsp, err
}
複製程式碼

相關資料

相關文章