關於第五章圖處理的補充說明
對應使用的Giraph版本為1.1.0-hadoop2,Hadoop版本為2.5.0-cdh5.3.1。由於https://issues.apache.org/jira/browse/GIRAPH-1110所致,部分版本的Hadoop由於不支援 Client.setPingInterval(giraphConfiguration, 60000 * 5);與Giraph不相容,可自行修復該bug後重新編譯Giraph,或使用相容的Hadoop。
作者提供的示例執行方式如下:
- 下載github中的指定程式碼後匯入IDE編譯通
- 將編譯好的target/GiraphCode.jar、run.sh、input.txt放置於可訪問hadoop的環境中
- 執行run.sh指令碼即可啟動Giraph任務
注:input.txt的格式與書中描述的{vertextId}|{Type}|{comma-separated vertexId of "bitable" people}格式相符 示例如下:
2|Human|4,6
1|Zombie|2,3,8,9,10
3|Human|4,5,7
4|Human|2,3
5|Human|3
6|Human|2
7|Human|3
8|Human|9,11
9|Human|8
10|Human|
11|Human|8
對應的圖示為:
執行完畢的輸出結果為:
1|Zombie.0|2,3,8,9,10
2|Zombie.1|4,6
3|Zombie.1|4,5,7
4|Zombie.2|2,3
5|Zombie.2|3
6|Zombie.2|2
7|Zombie.2|3
8|Zombie.1|9,11
9|Zombie.1|8
10|Zombie.1|
11|Zombie.2|8
可自行修改input.txt增刪節點和邊,調整run.sh的worker引數,考慮它們與超步個數、Map個數等的關係,進而瞭解Giraph作為基於MapReduce的BSP是如何實現的。
相關文章
- [Jenkins]關於slave連結不上master的補充說明JenkinsAST
- indexmerge的補充說明Index
- 基於報警處理的補充
- Elasticsearch 學習總結 - 相關配置補充說明Elasticsearch
- 對 Oracle 備份與恢復 的補充說明Oracle
- 關於switchover的流程和補充
- 關於GeoWebCache的部署說明Web
- 關於DOCTYPE的使用和說明
- 關於NTP SERVER的配置說明Server
- 關於DedeCMS版本號的說明
- 【視訊處理】YUV格式說明
- 補: Rest 風格請求處理的的內容補充(1)REST
- [20210813]關於測試sql語句子游標的效能的一些補充說明.txtSQL
- OPC客戶端開發工具WTopcclient補充說明客戶端client
- 關於oracle補充日誌作用的理解Oracle
- CSS > 關於雪碧圖預處理和後處理方案的討論CSS
- MySQL:關於ICP特性的說明(未完)MySql
- [20230303]生成相關備庫的awr報表(補充說明).txt
- Git——關於Git的一些補充(1)Git
- 關於支援OPenACC的編譯器說明編譯
- java 關於操作Collection的一點說明Java
- 關於 RPM 命令的權威說明
- 關於事務的英文說明 Transaction OverviewView
- 關於SAP abap程式開發的說明
- 關於BUGZILLA的說明和安裝
- sap資料--關於收到部分還款SAP系統兩種處理方法的說明和比較
- 補充說明之前有錯翻譯那篇,但還沒更改完
- 有關元件的補充~~~~~~~元件
- 對《gcc中的內嵌組合語言》一文的補充說明GC組合語言
- 關於中文URL的處理
- 關於微信分享自定義標題,說明,圖示基於PHP的功能實現PHP
- 【BUG】關於手動打包、ANT實現的 補充
- 關於 Struts 1.1 Exception Handler 的應用補充 (轉)Exception
- [草稿]關於網頁全屏背景圖片的處理方案網頁
- 關於golang中下劃線(_)的語義說明Golang
- Oracle中關於PCTFREE和PCTUSED的說明Oracle
- Hanlp自然語言處理中的詞典格式說明HanLP自然語言處理
- SpringMVC(一)SpringMVC的處理流程、元件說明、搭建SpringMVC元件