go語言處理TCP拆包/粘包

熊紀元發表於2019-02-17
GoTCP

part 1

最近在學習go自帶的rpc，看完了一遍想著自己實現一個codec，也就是自定義訊息的序列化和反序列化。訊息的序列化和反序列化涉及到兩步：1、從網路中讀取資料和將資料寫到網路中；2、根據拿到的二進位制資料反序列化以及把現有的物件序列化成二進位制資料。而這個過程中就需要處理TCP的拆包粘包了。

TCP的拆包/粘包也算是網路程式設計中一個比較基礎的問題了，具體的問題含義和解決方式也不再詳細描述了。雖然作為實現應用層邏輯的程式設計師可能根本不需要關心這個，作為中介軟體的開發，同時也出於學習go語言的目的，還是稍微進行一下練習。

part 2

TCP拆包粘包的解決思路：在讀取資料時，將讀取到的二進位制資料在正確的位置進行分割即可。這裡直接使用head+body的方式，也就是在傳送資料時先將整個資料的大小附加在資料前，就像這樣：

+++++++++++++++++++++++++++++++++++++
size (2 bytes)  | body (size bytes)
+++++++++++++++++++++++++++++++++++++
複製程式碼

這裡將資料包的size作為head 注：這裡舉的例子裡，size佔2個byte；size具體佔用的byte數可以根據實際情況決定

part 3

server具體實現：

func doConn(conn net.Conn) {
    var (
        buffer = bytes.NewBuffer(make([]byte, 0, BUF_SIZE)) //buffer用來快取讀取到的資料
        readBytes = make([]byte, BUF_SIZE) //readBytes用來接收每次讀取的資料，每次讀取完成之後將readBytes新增到buffer中
        isHead = true //用來標識當前的狀態：正在處理size部分還是body部分
        bodyLen = 0 //表示body的長度
    )

    for {
        //首先讀取資料
        readByteNum, err := conn.Read(readBytes)
        if err != nil {
            log.Fatal(err)
            return
        }
        buffer.Write(readBytes[0:readByteNum])//將讀取到的資料放到buffer中
        
        // 然後處理資料
        for {
            if isHead {
                if buffer.Len() >= HEAD_SIZE {
                    isHead = false
                    head := make([]byte, HEAD_SIZE)
                    _, err = buffer.Read(head)
                    if err != nil {
                        log.Fatal(err)
                        return
                    }
                    bodyLen = int(binary.BigEndian.Uint16(head))
                } else {
                    break;
                }
            }

            if !isHead {
                if buffer.Len() >= bodyLen {
                    body := make([]byte, bodyLen)
                    _, err = buffer.Read(body[:bodyLen])
                    if err != nil {
                        log.Fatal(err)
                        return
                    }
                    fmt.Println("received body: " + string(body[:bodyLen]))
                    isHead = true
                } else {
                    break;
                }
            }
        }
    }
    
    func HandleTcp() {
	listener, err := net.Listen("tcp", ":1234")
	if err != nil {
		log.Fatal(err)
		return
	}
	log.Println("start listening on 1234")
	for {
		conn, err := listener.Accept()
		if err != nil {
			log.Fatal(err)
			return
		}
		go doConn(conn)
	}
}
複製程式碼

client具體實現：

func SendStringwithTcp(arg string) error {
	conn, err := net.Dial("tcp", ":1234")
	if err != nil {
		log.Fatal(err)
		return err
	}

	head := make([]byte, server.HEAD_SIZE)
	content := []byte(arg)
	headSize := len(content)
	binary.BigEndian.PutUint16(head, uint16(headSize))

    //先寫入head部分，再寫入body部分
	_, err = conn.Write(head)
	if err != nil {
		log.Fatal(err)
		return err
	}
	_, err = conn.Write(content)
	if err != nil {
		log.Fatal(err)
		return err
	}
	return nil
}
複製程式碼

相關文章