豬與蟒(pigandpython)
版權宣告:本文為半吊子子全棧工匠(wireless_com,同公眾號)原創文章,未經允許不得轉載。 https://blog.csdn.net/wireless_com/article/details/42060415
Python 真是無處不在呀.
pig 0.9以後將python作為嵌入式支援語音,使用Jython直譯器利用python2.5的功能,這個介面的最上層是org.apache.pig.scripting.Pig
首先python指令碼會對一段Pig Latin指令碼進行編譯,然後將在Python中定義的變數傳遞給它,最後執行它。
1) Pig.compile 或compilefromFile 對程式碼進行預編譯
2)Bind 方法將控制流中的變數繫結到Pig Latin指令碼中的變數,會返回一個BoundScript物件
3)針對BoundScript物件,可以呼叫runSingle方法來執行他,返回一個pigStat物件,如果在繫結過程中pig物件繫結到了一組包含引數的map,就要呼叫run方法了,同樣返回一個pigStats物件。
使用者編寫的UDF的一個單獨的例項會被構建並執行在每個map或reduce的任務中,構造器引數是一種傳遞資訊給使用者UDF的方式。
python與pig的型別對應
int number
long number
float number
double number
chararray string
bytearray string
map dictionary
tuple tuple
bag list oftuples
pig 的載入函式是基於hadoop的InputFormat建立的,基類是loadFunc,LoadFunc 的預設實現是針對HDFS的,pig 提供了prepareToRead 方法為載入函式提供了初始化自己的一個途徑。一旦使用者的載入函式實現了getSchema 方法,那麼Load語句就不再需要定義他們的模式了。
同理,儲存函式式基於Hadoop的OutoutFormat構建的。接受的是Pig的Tuple,然後根據輸出個好事建立健-值對後寫入儲存中,基類是storeFunc,Pig會在每個map或reduce 任務中呼叫儲存函式的prepareToWrite方法,PutNext是儲存函式的核心方法。
相關文章
- 三層架構與養豬架構
- 軟體開發者:豬與雞的爭論?
- 生豬
- 豬行天下之Python基礎——8.1 類與物件Python物件
- 飛豬基於 Serverless 的雲+端實踐與思考Server
- 豬斯拉(Hogzilla)HOG
- 將全景分割用到養豬場,AI養豬到底靠不靠譜?AI
- 豬行天下之Python基礎——6.1 異常與斷言Python
- 豬行天下之Python基礎——2.1 Python註釋與模組Python
- 智慧養豬場影片AI智慧監控與視覺化管理方案AI視覺化
- 英特爾“AI 養豬”AI
- 豬行天下之Python基礎——4.1 條件判斷與迴圈Python
- 豬肉價格瘋漲,百萬頭生豬被宰,AI能派上用場嗎?AI
- 幫豬豬修修改的程式碼2016年的程式碼記錄
- 大豬網網頁遊戲平臺網頁遊戲
- 菜譜-黃豆燜豬蹄
- 如何用豬臉識別降低死豬理賠成本?這支學生團隊靠「進擊的巨豬」打敗了商業老兵
- 飛豬Flutter技術演進及業務改造的實踐與思考總結Flutter
- 養豬大戶必備!教你用ModelBox開發一個AI數豬應用AI
- 豬行天下之Python基礎——9.1 Python多執行緒與多程式(上)Python執行緒
- 豬行天下之Python基礎——9.2 Python多執行緒與多程式(中)Python執行緒
- 豬行天下之Python基礎——9.3 Python多執行緒與多程式(下)Python執行緒
- 網際網路醫療都把保險當做買單的豬,那豬也是這麼想的?
- [ThinkPHP]bao遊戲cms豬sdk交易平臺PHP遊戲
- 當 JS 大豬蹄子遇到 HTML 小姐姐JSHTML
- 《一隻特立獨行的豬》總結
- RFID智慧化養豬企業說RFID裝置在豬養殖中的具體應用
- 村子裡到處在宣傳智慧養豬,但阿里雲的AI養豬夢真的靠譜嗎?阿里AI
- 區塊鏈位元豬軟體app開發區塊鏈APP
- 豬行天下之Python基礎——3.3 字典Python
- 豬行天下之Python基礎——3.4 集合Python
- 豬行天下之Python基礎——3.5 字串Python字串
- 小豬淺談Android螢幕適配Android
- 豬狗樣的ERP和板凳原理(轉)
- 【文魁派】劉麗瓊思維導圖武林計劃No.35 《金豬,白豬,你家在哪裡》微信文章筆記...筆記
- 【缺缺缺人】杭州阿里飛豬招前端端端阿里前端
- 遊戲之後,豬成了美國槍支案件的凶手遊戲
- 全場景效能平臺豬齒魚 VS Jira