解析Pyspark如何讀取parquet資料

這篇文章主要介紹了pyspark讀取parquet資料過程解析,文中透過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

parquet資料：列式儲存結構，由Twitter和Cloudera合作開發，相比於行式儲存，其特點是：

可以跳過不符合條件的資料，只讀取需要的資料，降低IO資料量；壓縮編碼可以降低磁碟儲存空間，使用更高效的壓縮編碼節約儲存空間；只讀取需要的列，支援向量運算，能夠獲取更好的掃描效能。

那麼我們怎麼在pyspark中讀取和使用parquet資料呢？我以local模式， 下的pycharm執行作說明。

首先，匯入庫檔案和配置環境：

import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession
 
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個python版本時需要指定
 
conf = SparkConf().setAppName('test_parquet')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)

然後，使用spark進行讀取，得到DataFrame格式的資料：host:port 屬於主機和埠號

parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"
df = spark.read.parquet(parquetFile)

而，DataFrame格式資料有一些方法可以使用，例如：

1.df.first() ：顯示第一條資料，Row格式

print(df.first())

2.df.columns：列名

3.df.count()：資料量，資料條數

4.df.toPandas()：從spark的DataFrame格式資料轉到Pandas資料結構

5.df.show()：直接顯示錶資料；其中df.show(n) 表示只顯示前n行資訊

6.type(df)：顯資料示格式

以上就是本文的全部內容，希望對大家的學習有所幫助。

原文地址：