Spark SQL：JSON資料來源複雜綜合案例實戰

豐澤發表於2018-09-28
SparkSQLJSON

Spark SQL可以自動推斷JSON檔案的後設資料，並且載入其資料，建立一個DataFrame。可以使用SQLContext.read.json()方法，針對一個元素型別為String的RDD，或者是一個JSON檔案。

但是要注意的是，這裡使用的JSON檔案與傳統意義上的JSON檔案是不一樣的。每行都必須，也只能包含一個，單獨的，自包含的，有效的JSON物件。不能讓一個JSON物件分散在多行。否則會報錯。

綜合性複雜案例：查詢成績為80分以上的學生的基本資訊與成績資訊

Git程式碼連結

相關文章