如何用 Linux 命令列工具解析和格式化輸出 JSON

Ostechnix發表於2019-08-07
Linux命令列JSON

JSON 是一種輕量級且與語言無關的資料儲存格式，易於與大多數程式語言整合，也易於人類理解 —— 當然，如果格式正確的話。JSON 這個詞代表 Java Script Object Notation，雖然它以 JavaScript 開頭，而且主要用於在伺服器和瀏覽器之間交換資料，但現在正在用於許多領域，包括嵌入式系統。在這裡，我們將使用 Linux 上的命令列工具解析並格式化列印 JSON。它對於在 shell 指令碼中處理大型 JSON 資料或在 shell 指令碼中處理 JSON 資料非常有用。

什麼是格式化輸出？

JSON 資料的結構更具人性化。但是在大多數情況下，JSON 資料會儲存在一行中，甚至沒有行結束字元。

顯然，這對於手動閱讀和編輯不太方便。

這是格式化輸出pretty print就很有用。這個該名稱不言自明：重新格式化 JSON 文字，使人們讀起來更清晰。這被稱為 JSON 格式化輸出。

用 Linux 命令列工具解析和格式化輸出 JSON

可以使用命令列文字處理器解析 JSON 資料，例如 awk、sed 和 gerp。實際上 JSON.awk 是一個來做這個的 awk 指令碼。但是，也有一些專用工具可用於同一目的。

  1. jq 或 jshon，shell 下的 JSON 解析器，它們都非常有用。
  2. Shell 指令碼，如 JSON.sh 或 jsonv.sh，用於在 bash、zsh 或 dash shell 中解析JSON。
  3. JSON.awk，JSON 解析器 awk 指令碼。
  4. 像 json.tool 這樣的 Python 模組。
  5. undercore-cli，基於 Node.js 和 javascript。

在本教程中，我只關注 jq，這是一個 shell 下的非常強大的 JSON 解析器，具有高階過濾和指令碼程式設計功能。

JSON 格式化輸出

JSON 資料可能放在一行上使人難以解讀，因此為了使其具有一定的可讀性，JSON 格式化輸出就可用於此目的的。

示例：來自 jsonip.com 的資料，使用 curl 或 wget 工具獲得 JSON 格式的外部 IP 地址，如下所示。

$ wget -cq http://jsonip.com/ -O -

實際資料看起來類似這樣：

{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}

現在使用 jq 格式化輸出它：

$ wget -cq http://jsonip.com/ -O - | jq '.'

通過 jq 過濾了該結果之後，它應該看起來類似這樣：

{
   "ip": "111.222.333.444",
   "about": "/about",
   "Pro!": "http://getjsonip.com"
}

同樣也可以通過 Python json.tool 模組做到。示例如下：

$ cat anything.json | python -m json.tool

這種基於 Python 的解決方案對於大多數使用者來說應該沒問題，但是如果沒有預安裝或無法安裝 Python 則不行，比如在嵌入式系統上。

然而，json.tool Python 模組具有明顯的優勢，它是跨平臺的。因此，你可以在 Windows、Linux 或 Mac OS 上無縫使用它。

如何用 jq 解析 JSON

首先，你需要安裝 jq，它已被大多數 GNU/Linux 發行版選中，並使用各自的軟體包安裝程式命令進行安裝。

在 Arch Linux 上：

$ sudo pacman -S jq

在 Debian、Ubuntu、Linux Mint 上：

$ sudo apt-get install jq

在 Fedora 上：

$ sudo dnf install jq

在 openSUSE 上：

$ sudo zypper install jq

對於其它作業系統或平臺參見官方的安裝指導。

jq 的基本過濾和識別符號功能

jq 可以從 STDIN 或檔案中讀取 JSON 資料。你可以根據情況使用。

單個符號 . 是最基本的過濾器。這些過濾器也稱為物件識別符號-索引。jq 使用單個 . 過濾器基本上相當將輸入的 JSON 檔案格式化輸出。

  • 單引號：不必始終使用單引號。但是如果你在一行中組合幾個過濾器，那麼你必須使用它們。
  • 雙引號：你必須用兩個雙引號括起任何特殊字元，如 @、＃、$，例如 jq .foo.”@bar”。
  • 原始資料列印：不管出於任何原因，如果你只需要最終解析的資料（不包含在雙引號內），請使用帶有 -r 標誌的 jq 命令，如下所示：jq -r .foo.bar。

解析特定資料

要過濾出 JSON 的特定部分，你需要了解格式化輸出的 JSON 檔案的資料層次結構。

來自維基百科的 JSON 資料示例：

{
  "firstName": "John",
  "lastName": "Smith",
  "age": 25,
  "address": {
    "streetAddress": "21 2nd Street",
    "city": "New York",
    "state": "NY",
    "postalCode": "10021"
},
  "phoneNumber": [
{
  "type": "home",
  "number": "212 555-1234"
},
{
  "type": "fax",
  "number": "646 555-4567"
}
],
  "gender": {
  "type": "male"
  }
}

我將在本教程中將此 JSON 資料用作示例，將其儲存為 sample.json。

假設我想從 sample.json 檔案中過濾出地址。所以命令應該是這樣的：

$ jq .address sample.json

示例輸出：

{
  "streetAddress": "21 2nd Street",
  "city": "New York",
  "state": "NY",
  "postalCode": "10021"
}

再次，我想要郵政編碼，然後我要新增另一個物件識別符號-索引，即另一個過濾器。

$ cat sample.json | jq .address.postalCode

另請注意，過濾器區分大小寫，並且你必須使用完全相同的字串來獲取有意義的輸出，否則就是 null。

從 JSON 陣列中解析元素

JSON 陣列的元素包含在方括號內，這無疑是非常通用的。

要解析陣列中的元素，你必須使用 [] 識別符號以及其他物件識別符號索引。

在此示例 JSON 資料中，電話號碼儲存在陣列中，要從此陣列中獲取所有內容，你只需使用括號，像這個示例：

$ jq .phoneNumber[] sample.json

假設你只想要陣列的第一個元素，然後使用從 0 開始的陣列物件編號，對於第一個專案，使用 [0]，對於下一個專案，它應該每步增加 1。

$ jq .phoneNumber[0] sample.json

指令碼程式設計示例

假設我只想要家庭電話，而不是整個 JSON 陣列資料。這就是用 jq 命令指令碼編寫的方便之處。

$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'

首先，我將一個過濾器的結果傳遞給另一個，然後使用 select 屬性選擇特定型別的資料，再次將結果傳遞給另一個過濾器。

解釋每種型別的 jq 過濾器和指令碼程式設計超出了本教程的範圍和目的。強烈建議你閱讀 jq 手冊，以便更好地理解下面的內容。

資源：

via: https://www.ostechnix.com/how-to-parse-and-pretty-print-json-with-linux-commandline-tools/

作者：ostechnix 選題：lujun9972 譯者：wxy 校對：wxy

本文由 LCTT 原創編譯，Linux中國 榮譽推出

如何用 Linux 命令列工具解析和格式化輸出 JSON

訂閱“Linux 中國”官方小程式來檢視

相關文章