1 flink 原始碼編譯

• 根據 hadoop 和 scala 的版本
• 安裝 JDK1.8 和 maven
  

---

mvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.14.2

2 flink onYARN 的2種方式

https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn_setup.html

2.1 第一種方式

• Start a long-running Flink cluster on YARN
  

• 啟動 hadoop 叢集
  

---

• 執行 flink yarn-session.sh -n 1 -jm 1024m -tm 1024m
  
  

---

• 下載測試資料 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt
• 把下載的資料傳到 hdfs 的根目錄
  

---

• 執行任務

./bin/flink run ./examples/batch/WordCount.jar \
-input hdfs://master:8020/LICENSE-2.0.txt \
-output hdfs://master:8020/wordcount-result.txt

2.2 第 2 種方式

• 殺掉第一種作業 yarn application -kill application_1601533355219_0001
  
  

---

• 執行作業 ./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar