Python中Spark讀取parquet檔案並獲取schema的JSON表示

步驟：

1. 初始化SparkSession。

2. 使用spark.read.parquet()讀取Parquet檔案。

3. 呼叫df.schema.json()獲取schema的JSON表示。

from pyspark.sql import SparkSession
 
# 初始化SparkSession
spark = SparkSession.builder.appName("ReadParquetSchema").getOrCreate()
 
# 讀取Parquet檔案
parquet_file_path = "path/to/your/parquet/file.parquet"
df = spark.read.parquet(parquet_file_path)
 
# 獲取schema的JSON表示
schema_json = df.schema.json()

# 或者這樣，第二種寫法

# schema_json = spark.read.parquet(parquet_file_path).schema.json()

# 列印schema的JSON print(schema_json) # 停止SparkSession spark.stop()

這段程式碼會列印出Parquet檔案的schema的JSON表示。你需要替換parquet_file_path變數的值為你的Parquet檔案的實際路徑。