json 解析器哪家強?

taowen發表於2016-12-07

全文連結: https://github.com/json-iterator/go-benchmark

目的不是推銷 json-iterator 。而是證明 json-iterator 不比其他的庫更慢,從而使得大家可以把吐槽點放到其他方面:比如特性是不是齊全, api 是不是友好。重新發明 json 解析器是因為經常需要處理奇怪格式的 json ,而又不想把資料轉兩遍。市面上沒有 api 滿足我的需求的,後面我會專門寫一篇 api 介紹的文章來演示 json-iterator 的獨特性。( https://github.com/json-iterator/go/blob/master/README.md

  • jsonparser: https://github.com/buger/jsonparser
  • jsoniter pull-api: https://github.com/json-iterator/go
  • jsoniter reflect-api: https://github.com/json-iterator/go/blob/master/jsoniter_reflect.go
  • encoding/json: golang standard lib
  • easy json: https://github.com/mailru/easyjson

測試裝置

  • CPU: i7-6700K @ 4.0G
  • Level 1 cache size: 4 x 32 KB 8-way set associative instruction caches
  • Level 2 cache size: 4 x 256 KB 4-way set associative caches
  • Level 3 cache size: 8 MB 16-way set associative shared cache
  • Go: 1.8beta1

small payload

https://github.com/json-iterator/go-benchmark/blob/master/src/github.com/json-iterator/go-benchmark/benchmark_small_payload_test.go

jsonparser jsoniter pull-api jsoniter reflect-api encoding/json easyjson
599 ns/op 515 ns/op 684 ns/op 2453 ns/op 687 ns/op
64 B/op 64 B/op 256 B/op 864 B/op 64 B/op
2 allocs/op 2 allocs/op 4 allocs/op 31 allocs/op 2 allocs/op

encoding/json 在 i7-6700K 上效能還不錯,但是在快取小一些的 cpu 上效能要比這慢更多。

small

medium payload

jsonparser jsoniter pull-api jsoniter reflect-api encoding/json easyjson
5238 ns/op 4111 ns/op 4708 ns/op 24939 ns/op 7361 ns/op
104 B/op 104 B/op 368 B/op 808 B/op 248 B/op
4 allocs/op 4 allocs/op 14 allocs/op 18 allocs/op 8 allocs/op

https://github.com/json-iterator/go-benchmark/blob/master/src/github.com/json-iterator/go-benchmark/benchmark_medium_payload_test.go

json-iterator 的反射 api 也是相當快的。

medium

large payload

https://github.com/json-iterator/go-benchmark/blob/master/src/github.com/json-iterator/go-benchmark/benchmark_large_payload_test.go

jsonparser jsoniter pull-api encoding/json
38334 ns/op 38463 ns/op 290778 ns/op
0 B/op 0 B/op 2128 B/op
0 allocs/op 0 allocs/op 46 allocs/op

jsonparser 在大部分欄位不使用的時候,要快那麼一丁點。

large

large file

test file used: https://github.com/json-iterator/test-data/blob/master/large-file.json

jsonparser jsoniter pull-api encoding/json
42698634 ns/op 37760014 ns/op 235354502 ns/op
67107104 B/op 4248 B/op 71467896 B/op
19 allocs/op 5 allocs/op 272477 allocs/op

jsonparser 等其他一大票 json 解析器都是以 []byte 作為輸入的,簡直是為跑分而生。關於這一點 jackson 的作者也有吐槽( https://www.infoq.com/news/2014/05/jackson-founder-responds )。而 jsoniter 可以支援 io.Reader 作為輸入,對於大檔案處理非常友好。

large-file

相關文章