Flink on Yarn三部曲之一:準備工作

程式設計師欣宸發表於2022-12-02

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容:所有原創文章分類彙總及配套原始碼,涉及Java、Docker、Kubernetes、DevOPS等;

本文是《Flink on Yarn三部曲》的第一篇,整個系列由以下三篇組成:

  1. 準備工作:搭建Flink on Yarn環境前,將所有硬體、軟體資源準備好;
  2. 部署和設定:部署CDH和Flink,然後做相關設定
  3. Flink實戰:在Yarn環境提交Flink任務

整個三部曲的實戰內容如下圖所示:
在這裡插入圖片描述
接下來就從最基本的準備工作開始吧。

全文連結

  1. 《Flink on Yarn三部曲之一:準備工作》

  2. Flink on Yarn三部曲之二:部署和設定
  3. 《Flink on Yarn三部曲之三:提交Flink任務》

除了常見的standalone模式,Flink還支援將任務提交到Yarn環境執行,任務所需的計算資源由Yarn Remource Manager來分配,如下圖(來自Flink官網):
在這裡插入圖片描述
因此需要搭建一套Yarn環境,通過CDH部署Yarn、HDFS等服務是常見方式,接下來就採用此方式來部署;

部署方式

ansible是常用的運維工具,可以大幅度簡化整個部署過程,接下來會使用ansible來完成部署工作,如果您對ansible還不夠了解,請參考《ansible2.4安裝和體驗》,部署操作如下圖所示,在一臺安裝了ansible的電腦上執行指令碼,由ansible遠端連線到一臺CentOS7.7的伺服器上,完成部署工作:
在這裡插入圖片描述

硬體準備

  1. 一臺可以執行ansible的電腦,我這裡用的是MacBook Pro,也用CentOS驗證過,都可以順利完成部署;
  2. 一臺CentOS7.7的電腦用於執行Yarn和Flink(文中的CDH伺服器就是指該電腦),為了操作簡單,本次實戰將CDH、Yarn、HDFS、Flink都部署在這一臺機器上,實測發現,此電腦CPU至少要雙核,記憶體不低於16G,如果您想用多臺電腦部署CDH,建議自行修改ansible指令碼來分別部署,指令碼地址後面會給出;

軟體版本

  1. ansible電腦作業系統:macOS Catalina 10.15(實測用CentOS也能成功)
  2. CDH伺服器作業系統:CentOS Linux release 7.7.1908
  3. cm版本:6.3.1
  4. parcel版本:5.16.2
  5. flink版本:1.7.2

注意:因為flink需要hadoop2.6版本,所以parcel選擇了5.16.2,這裡面對應的hadoop是2.6版

CDH伺服器設定

需要登入CDH伺服器執行以下設定:

  1. 檢查/etc/hostname檔案是否正確,如下圖:
    在這裡插入圖片描述
  2. 修改/etc/hosts檔案,將自己的IP地址和hostname配置上去,如下圖紅框所示(事實證明這一步很重要,如果不做可能導致在部署時一直卡在"分配"階段,看agent日誌顯示agent下載parcel的進度一直是百分之零):
    在這裡插入圖片描述

下載檔案(ansible電腦)

本次實戰要準備13個檔案,如下表所示(後面會給出每個檔案的獲取方式):

編號 檔名 簡介
1 jdk-8u191-linux-x64.tar.gz Linux版的jdk安裝包
2 mysql-connector-java-5.1.34.jar mysql的JDBC驅動
3 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cm的server安裝包
4 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cm的daemon安裝包
5 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cm的agent安裝包
6 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel CDH應用離線安裝包
7 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha CDH應用離線安裝包sha驗證碼
8 flink-1.7.2-bin-hadoop26-scala_2.11.tgz flink安裝包
9 hosts ansible用到的遠端主機配置,裡面記錄了CDH6伺服器的資訊
10 ansible.cfg ansible用到的配置資訊
11 cm6-cdh5-flink1.7-single-install.yml 部署CDH時用到的ansible指令碼
12 cdh-single-start.yml 初次啟動CDH時用到的ansible指令碼
13 var.yml 指令碼中用到的變數都在在此設值,
例如CDH包名、flink檔名等,便於維護

下面是每個檔案的下載地址:

  1. jdk-8u191-linux-x64.tar.gz:Oracle官網可下,另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn,您可以一次性下載,地址:https://download.csdn.net/download/boling_cavalry/12098987
  2. mysql-connector-java-5.1.34.jar:maven中央倉庫可下,另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn,您可以一次性下載,地址:https://download.csdn.net/download/boling_cavalry/12098987
  3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
  4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
  5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm:https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
  6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
  7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha:https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 (下載完畢後,將副檔名從.sha1為.sha)
  8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz:http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz
  9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml :這五個檔案都儲存在我的GitHub倉庫,地址是:https://github.com/zq2599/blog_demos ,這裡面有多個資料夾,上述檔案在名為ansible-cm6-cdh5-flink172-single的資料夾中,如下圖紅框所示:
    在這裡插入圖片描述

檔案擺放(ansible電腦)

如果您已經下載好了上述13個檔案,請按照如下位置擺放,這樣才能順利完成部署:

  1. 在家目錄下新建名為playbooks的資料夾:mkdir ~/playbooks

  2. 把這五個檔案放入playbooks資料夾:hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、vars.yml

  3. playbooks資料夾裡新建名為cdh6的子資料夾;

  4. 把這八個檔案放入cdh6資料夾(即剩餘的八個):jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2.11.tgz

  5. 擺放完畢後目錄和檔案情況如下圖,再次提醒:資料夾playbooks一定要放在家目錄下(即:~/):
    在這裡插入圖片描述

ansible引數設定(ansible電腦)

ansible引數設定的操作設定很簡單:配置好CDH伺服器的訪問引數即可,包括IP地址、登入賬號、密碼等,修改~/playbooks/hosts檔案,內容如下所示,您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password:

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

至此,所有準備工作已完成,下一篇文章我們將完成這些操作:

  1. 部署CDH和Flink
  2. 啟動CDH
  3. 設定CDH、線上安裝Yarn、HDFS等
  4. 調整Yarn引數,使Flink任務可以提交成功

歡迎關注公眾號:程式設計師欣宸

微信搜尋「程式設計師欣宸」,我是欣宸,期待與您一同暢遊Java世界...

https://github.com/zq2599/blog_demos

相關文章