JSON 是一種輕量級且與語言無關的資料儲存格式,易於與大多數程式語言整合,也易於人類理解 —— 當然,如果格式正確的話。JSON 這個詞代表 Java Script Object Notation,雖然它以 JavaScript 開頭,而且主要用於在伺服器和瀏覽器之間交換資料,但現在正在用於許多領域,包括嵌入式系統。在這裡,我們將使用 Linux 上的命令列工具解析並格式化列印 JSON。它對於在 shell 指令碼中處理大型 JSON 資料或在 shell 指令碼中處理 JSON 資料非常有用。
什麼是格式化輸出?
JSON 資料的結構更具人性化。但是在大多數情況下,JSON 資料會儲存在一行中,甚至沒有行結束字元。
顯然,這對於手動閱讀和編輯不太方便。
這是格式化輸出就很有用。這個該名稱不言自明:重新格式化 JSON 文字,使人們讀起來更清晰。這被稱為 JSON 格式化輸出。
用 Linux 命令列工具解析和格式化輸出 JSON
可以使用命令列文字處理器解析 JSON 資料,例如 awk
、sed
和 gerp
。實際上 JSON.awk
是一個來做這個的 awk 指令碼。但是,也有一些專用工具可用於同一目的。
jq
或jshon
,shell 下的 JSON 解析器,它們都非常有用。- Shell 指令碼,如
JSON.sh
或jsonv.sh
,用於在 bash、zsh 或 dash shell 中解析JSON。 JSON.awk
,JSON 解析器 awk 指令碼。- 像
json.tool
這樣的 Python 模組。 undercore-cli
,基於 Node.js 和 javascript。
在本教程中,我只關注 jq
,這是一個 shell 下的非常強大的 JSON 解析器,具有高階過濾和指令碼程式設計功能。
JSON 格式化輸出
JSON 資料可能放在一行上使人難以解讀,因此為了使其具有一定的可讀性,JSON 格式化輸出就可用於此目的的。
示例:來自 jsonip.com
的資料,使用 curl
或 wget
工具獲得 JSON 格式的外部 IP 地址,如下所示。
$ wget -cq http://jsonip.com/ -O -
實際資料看起來類似這樣:
{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}
現在使用 jq
格式化輸出它:
$ wget -cq http://jsonip.com/ -O - | jq '.'
透過 jq
過濾了該結果之後,它應該看起來類似這樣:
{
"ip": "111.222.333.444",
"about": "/about",
"Pro!": "http://getjsonip.com"
}
同樣也可以透過 Python json.tool
模組做到。示例如下:
$ cat anything.json | python -m json.tool
這種基於 Python 的解決方案對於大多數使用者來說應該沒問題,但是如果沒有預安裝或無法安裝 Python 則不行,比如在嵌入式系統上。
然而,json.tool
Python 模組具有明顯的優勢,它是跨平臺的。因此,你可以在 Windows、Linux 或 Mac OS 上無縫使用它。
如何用 jq 解析 JSON
首先,你需要安裝 jq
,它已被大多數 GNU/Linux 發行版選中,並使用各自的軟體包安裝程式命令進行安裝。
在 Arch Linux 上:
$ sudo pacman -S jq
在 Debian、Ubuntu、Linux Mint 上:
$ sudo apt-get install jq
在 Fedora 上:
$ sudo dnf install jq
在 openSUSE 上:
$ sudo zypper install jq
對於其它作業系統或平臺參見官方的安裝指導。
jq 的基本過濾和識別符號功能
jq
可以從 STDIN
或檔案中讀取 JSON 資料。你可以根據情況使用。
單個符號 .
是最基本的過濾器。這些過濾器也稱為物件識別符號-索引。jq
使用單個 .
過濾器基本上相當將輸入的 JSON 檔案格式化輸出。
- 單引號:不必始終使用單引號。但是如果你在一行中組合幾個過濾器,那麼你必須使用它們。
- 雙引號:你必須用兩個雙引號括起任何特殊字元,如
@
、#
、$
,例如jq .foo.”@bar”
。 - 原始資料列印:不管出於任何原因,如果你只需要最終解析的資料(不包含在雙引號內),請使用帶有
-r
標誌的jq
命令,如下所示:jq -r .foo.bar
。
解析特定資料
要過濾出 JSON 的特定部分,你需要了解格式化輸出的 JSON 檔案的資料層次結構。
來自維基百科的 JSON 資料示例:
{
"firstName": "John",
"lastName": "Smith",
"age": 25,
"address": {
"streetAddress": "21 2nd Street",
"city": "New York",
"state": "NY",
"postalCode": "10021"
},
"phoneNumber": [
{
"type": "home",
"number": "212 555-1234"
},
{
"type": "fax",
"number": "646 555-4567"
}
],
"gender": {
"type": "male"
}
}
我將在本教程中將此 JSON 資料用作示例,將其儲存為 sample.json
。
假設我想從 sample.json
檔案中過濾出地址。所以命令應該是這樣的:
$ jq .address sample.json
示例輸出:
{
"streetAddress": "21 2nd Street",
"city": "New York",
"state": "NY",
"postalCode": "10021"
}
再次,我想要郵政編碼,然後我要新增另一個物件識別符號-索引,即另一個過濾器。
$ cat sample.json | jq .address.postalCode
另請注意,過濾器區分大小寫,並且你必須使用完全相同的字串來獲取有意義的輸出,否則就是 null。
從 JSON 陣列中解析元素
JSON 陣列的元素包含在方括號內,這無疑是非常通用的。
要解析陣列中的元素,你必須使用 []
識別符號以及其他物件識別符號索引。
在此示例 JSON 資料中,電話號碼儲存在陣列中,要從此陣列中獲取所有內容,你只需使用括號,像這個示例:
$ jq .phoneNumber[] sample.json
假設你只想要陣列的第一個元素,然後使用從 0
開始的陣列物件編號,對於第一個專案,使用 [0]
,對於下一個專案,它應該每步增加 1。
$ jq .phoneNumber[0] sample.json
指令碼程式設計示例
假設我只想要家庭電話,而不是整個 JSON 陣列資料。這就是用 jq
命令指令碼編寫的方便之處。
$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'
首先,我將一個過濾器的結果傳遞給另一個,然後使用 select
屬性選擇特定型別的資料,再次將結果傳遞給另一個過濾器。
解釋每種型別的 jq
過濾器和指令碼程式設計超出了本教程的範圍和目的。強烈建議你閱讀 jq
手冊,以便更好地理解下面的內容。
資源:
- https://stedolan.github.io/jq/manual/
- http://www.compciv.org/recipes/cli/jq-for-parsing-json/
- https://lzone.de/cheat-sheet/jq
via: https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/
作者:ostechnix 選題:lujun9972 譯者:wxy 校對:wxy
本文由 LCTT 原創編譯,Linux中國 榮譽推出