spark: RDD與DataFrame之間的相互轉換

DataFrame是一個組織成命名列的資料集。它在概念上等同於關聯式資料庫中的表或R/Python中的資料框架，但其經過了優化。DataFrames可以從各種各樣的源構建，例如：結構化資料檔案，Hive中的表，外部資料庫或現有RDD。DataFrame API 可以被Scala，Java，Python和R呼叫。在Scala和Java中，DataFrame由Rows的資料集表示。在Scala API中，DataFrame只是一個型別別名Dataset[Row]。而在Java API中，使用者需要Dataset<Row>用來表示DataFrame。在本文件中，我們經常將Scala/Java資料集Row稱為DataFrames。

那麼DataFrame和spark核心資料結構RDD之間怎麼進行轉換呢？

程式碼如下：

# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row

if __name__ == "__main__":
    # 初始化SparkSession
    spark = SparkSession \
        .builder \
        .appName("RDD_and_DataFrame") \
        .config("spark.some.config.option", "some-value") \
        .getOrCreate()

    sc = spark.sparkContext

    lines = sc.textFile("employee.txt")
    parts = lines.map(lambda l: l.split(","))
    employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))

    #RDD轉換成DataFrame
    employee_temp = spark.createDataFrame(employee)

    #顯示DataFrame資料
    employee_temp.show()

    #建立檢視
    employee_temp.createOrReplaceTempView("employee")
    #過濾資料
    employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")

    # DataFrame轉換成RDD
    result = employee_result.rdd.map(lambda p: "name: " + p.name + "  salary: " + str(p.salary)).collect()

    #列印RDD資料
    for n in result:
        print(n)