學會用 Go 解析複雜 JSON 的思路

KevinYan發表於2020-03-30

Go語言自帶的encode/json包提供了對JSON資料格式的編碼和解碼能力。之前的文章《如何控制Go編碼JSON資料格式的行為》已經介紹了編碼JSON時常見得幾個問題,如何使用encode/json來解決。解碼JSONencode/json包使用UnMarshall或者Decode方法根據開發者提供的存放解碼後資料的變數的型別宣告來解析JSON並把解碼後的資料填充到Go變數裡。所以解析JSON的關鍵其實是如何宣告存放解析後資料的變數的型別。

由於JSON格式的自由組合的特點,對新手來說透過觀察JSON資料的內容,宣告解析後資料的型別還是挺困難的。反正我剛用Go開始做專案時面對資料庫之前的一個複雜的JSON研究了一天才解析出來(也有我那會太菜的原因,被逼無奈看了兩天語法,就直接開始用Go寫專案了)。所以我花時間總結了一下常見的幾類JSON資料組合模式應該如何宣告解析資料的型別,以及UnMarshalDecode兩個解碼函式的用法。

文章主題內容是很早以前發在思否上的一篇文章,後來授權給了Go語言中文網的站長。那會兒我還覺得公眾號不適合寫技術文章。回看之前那篇文章感覺有的地方文字表達的方式不太好,這跟自己對語言的熟悉程度也有關。

我們先從最簡單的JSON資料內容開始介紹,一點點增加JSON資料內容的複雜度。

解析簡單JSON

先觀察下這段JSON資料的組成,namecreated是字串。id是整型,fruit是一個字串陣列

{
    "name": "Standard", 
    "fruit": [
        "Apple", 
        "Banana", 
        "Orange"
    ], 
    "id": 999, 
    "created": "2018-04-09T23:00:00Z"
}

那麼對應的在Go裡面解析資料的型別應該被宣告為:

type FruitBasket struct {
    Name    string    `json:"name"`
    Fruit   []string  `json:"fruit"`
    Id      int64     `json:"id"`
    Created time.Time `json:"created"`
}

完整的解析JSON的程式碼如下:

package main

import (
    "fmt"
    "encoding/json"
    "time"

)

func main() {
    type FruitBasket struct {
        Name    string    `json:"name"`
        Fruit   []string  `json:"fruit"`
        Id      int64     `json:"id"`
        Created time.Time `json:"created"`
    }

    jsonData := []byte(`
    {
        "name": "Standard",
        "fruit": [
             "Apple",
            "Banana",
            "Orange"
        ],
        "id": 999,
        "created": "2018-04-09T23:00:00Z"
    }`)

    var basket FruitBasket
    err := json.Unmarshal(jsonData, &basket)
    if err != nil {
         fmt.Println(err)
    }
    fmt.Println(basket.Name, basket.Fruit, basket.Id)
    fmt.Println(basket.Created)
}

說明: 由於json.UnMarshal()方法接收的是位元組切片,所以首先需要把JSON字串轉換成位元組切片c := []byte(s)

解析內嵌物件的JSON

把上面的fruit鍵對應的值如果改成字典 變成"fruit" : {"name":"Apple", "priceTag":"$1"}

    jsonData := []byte(`
    {
        "name": "Standard",
        "fruit" : {"name": "Apple", "priceTag": "$1"},
        "def": 999,
        "created": "2018-04-09T23:00:00Z"
    }`)

那麼Go語言裡存放解析資料的型別應該這麼宣告

type Fruit struct {
    Name string `json":name"`
    PriceTag string `json:"priceTag"`
}

type FruitBasket struct {
    Name    string    `json:"name"`
    Fruit   Fruit     `json:"fruit"`
    Id      int64     `json:"id"`
    Created time.Time `json:"created"`
}

解析內嵌物件陣列的JSON

如果上面JSON資料裡的Fruit值現在變成了

"fruit" : [
    {
        "name": "Apple",
      "priceTag": "$1"
    },
    {
        "name": "Pear",
        "priceTag": "$1.5"
    }
]

這種情況也簡單把存放解析後資料的型別其宣告做如下更改,把Fruit欄位型別換為 []Fruit即可

type Fruit struct {
    Name string `json:"name"`
    PriceTag string `json:"priceTag"`
}

type FruitBasket struct {
    Name    string    `json:"name"`
    Fruit   []Fruit   `json:"fruit"`
    Id      int64     `json:"id"`
    Created time.Time `json:"created"`
}

解析具有動態Key的物件

下面再做一下複雜的變化,如果把上面的物件陣列變為以FruitId作為屬性名的複合物件(object of object)比如:

"Fruit" : {
    "1": {
        "Name": "Apple",
        "PriceTag": "$1"
    },
    "2": {
        "Name": "Pear",
        "PriceTag": "$1.5"
    }
}

每個Key的名字在宣告型別的時候是不知道值的,這樣該怎麼宣告呢,答案是把Fruit欄位的型別宣告為一個Keystring型別值為Fruit型別的map

type Fruit struct {
    Name string `json:"name"`
    PriceTag string `json:"priceTag"`
}

type FruitBasket struct {
    Name    string             `json:"name"`
    Fruit   map[string]Fruit   `json:"fruit"`
    Id      int64              `json:"id"`
    Created time.Time          `json:"created"`
}

可以執行下面完整的程式碼段試一下。

package main

import (
    "fmt"
    "encoding/json"
    "time"

)

func main() {
    type Fruit struct {
        Name string `json:"name"`
        PriceTag string `json:"priceTag"`
    }

    type FruitBasket struct {
        Name    string             `json:"name"`
        Fruit   map[string]Fruit   `json:"fruit"`
        Id      int64              `json:"id"`
        Created time.Time          `json:"created"`
    }  
    jsonData := []byte(`
    {
        "Name": "Standard",
        "Fruit" : {
              "1": {
                    "name": "Apple",
                    "priceTag": "$1"
              },
              "2": {
                    "name": "Pear",
                    "priceTag": "$1.5"
              }
        },
        "id": 999,
        "created": "2018-04-09T23:00:00Z"
    }`)

    var basket FruitBasket
    err := json.Unmarshal(jsonData, &basket)
    if err != nil {
         fmt.Println(err)
    }
    for _, item := range basket.Fruit {
    fmt.Println(item.Name, item.PriceTag)
    }
}

解析包含任意層級的陣列和物件的JSON資料

針對包含任意層級的JSON資料,encoding/json包使用:

  • map[string]interface{} 儲存JSON物件
  • []interface 儲存JSON陣列

json.Unmarshl 將會把任何合法的JSON資料儲存到一個interface{}型別的值,透過使用空介面型別我們可以儲存任意值,但是使用這種型別作為值時需要先做一次型別斷言。

jsonData := []byte(`{"Name":"Eve","Age":6,"Parents":["Alice","Bob"]}`)

var v interface{}
json.Unmarshal(jsonData, &v)
data := v.(map[string]interface{})

for k, v := range data {
    switch v := v.(type) {
    case string:
        fmt.Println(k, v, "(string)")
    case float64:
        fmt.Println(k, v, "(float64)")
    case []interface{}:
        fmt.Println(k, "(array):")
        for i, u := range v {
            fmt.Println("    ", i, u)
        }
    default:
        fmt.Println(k, v, "(unknown)")
    }
}

雖然將JSON資料儲存到空介面型別的值中可以用來解析任意結構的JSON資料,但是在實際應用中發現還是有不可控的地方,比如將數字字串的值轉換成了float型別的值,所以經常會在執行時報型別斷言的錯誤,所以在JSON結構確定的情況下還是優先使用結構體型別宣告,將JSON資料到結構體中的方式來解析JSON。

用 Decoder解析資料流

上面都是使用的UnMarshall解析的JSON資料,如果JSON資料的載體是開啟的檔案或者HTTP請求體這種資料流(他們都是io.Reader的實現),我們不必把JSON資料讀取出來後再去呼叫encode/json包的UnMarshall方法,包提供的Decode方法可以完成讀取資料流並解析JSON資料最後填充變數的操作。

// This example uses a Decoder to decode a stream of distinct JSON values.
func ExampleDecoder() {
    const jsonStream = `
    {"Name": "Ed", "Text": "Knock knock."}
    {"Name": "Sam", "Text": "Who's there?"}
    {"Name": "Ed", "Text": "Go fmt."}
    {"Name": "Sam", "Text": "Go fmt who?"}
    {"Name": "Ed", "Text": "Go fmt yourself!"}
`
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))
    for {
        var m Message
        if err := dec.Decode(&m); err == io.EOF {
            break
        } else if err != nil {
            log.Fatal(err)
        }
        fmt.Printf("%s: %s\n", m.Name, m.Text)
    }
    // Output:
    // Ed: Knock knock.
    // Sam: Who's there?
    // Ed: Go fmt.
    // Sam: Go fmt who?
    // Ed: Go fmt yourself!
}

寫這篇文章的主要目的是和之前介紹Go語言如何編碼JSON的文章搭配上,儘量讓這個主題在公眾號裡的文章完整些,這樣也更便於剛接觸Go語言的同學的學習。

推薦閱讀:

如何控制Go編碼JSON資料時的行為

本作品採用《CC 協議》,轉載必須註明作者和本文連結
公眾號:網管叨bi叨 | Golang、Laravel、Docker、K8s等學習經驗分享

相關文章