寫給小白的pySpark入門
1. 建立鍵值對RDD ( Pair RDD)
RDD中可以包含任何型別的物件。其中，鍵值對是一種比較常見的RDD元素型別，在分組和聚合中經常會用到。
首先在本地建立一個word.txt，然後上傳到hadoop目錄中。
方法a：從檔案中載入，來建立鍵值對RDD
pyspark --queue 佇列名 [進入spark]
lines = sc.textFile("hadoop地址/word.txt") [載入檔案到rdd中]
作者：Macroholica
連結：
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/2001/viewspace-2816634/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- Python入門_給小白的學習指南Python
- 寫給小白看的入門級 Java 基本語法，強烈推薦Java
- 寫給小白的 Nginx 文章Nginx
- 寫給新手的MySQL入門指南MySql
- 給零基礎小白的Python入門教程Python
- 給入門Java的小白推薦一本書Java
- [譯] 寫給前端工程師的 Docker 入門前端工程師Docker
- 前端小白的入門前端
- 入門指南 | 寫給打算進入IT行業的新人們！行業
- 寫給初入門/半路出家的前端er前端
- 寫給小白的開源編譯器編譯
- 寫給小白的音訊認識基礎音訊
- 寫給小白的地理資訊的表示法：GeoJSONJSON
- 寫給後端的Hadoop初級入門教程：概念篇後端Hadoop
- 寫給後端的Nginx初級入門教程:Nginx原理初探後端Nginx
- 寫給後端的Nginx初級入門教程:基礎篇後端Nginx
- JUnit4小白入門
- 小白入門 - PHP簡介PHP
- Git基本用法，小白入門Git
- 寫給後端的Hadoop初級入門教程：Hadoop組成部分。後端Hadoop
- 寫給運營同學和初學者的SQL入門教程SQL
- HTML之小白的入門Day1HTML
- 第 8 場 小白入門賽
- Python小白必看！新手入門指南Python
- Python教程之小白入門篇Python
- 寫給大家看的“不負責任” K8s 入門文件K8S
- 寫給大家看的 “不負責任” K8s 入門文件K8S
- 寫給後端的Nginx初級入門教程:配置高可用叢集後端Nginx
- 寫給關聯式資料庫開發者的 TDengine 入門指南資料庫
- 04小白學nodejs 檔案寫入NodeJS
- 小白入門使用Nginx基礎的常用操作Nginx
- 寫給移動端測試小白的一封信
- 後端小白的VUE入門筆記, 前端高能慎入後端Vue筆記前端
- Web 前端開發之小白入門Web前端
- 機器學習之小白入門機器學習
- Maven入門【小白千萬別點進】Maven
- 小白入門學習打日誌
- MySQL小白入門04 - 集合運算MySql