最快方式搭建docker大資料 測試叢集

夜半钟声到客船發表於2024-06-20

平時搭建一套測試叢集 找包 找的累死,現在使用docker搭建 cdh版本的

1.首先在伺服器上安裝docker

yum install docker

2.配置國內 阿里雲docker倉庫服務

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

換成地址,重啟docker服務

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://vy8pfxw7.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

2.執行下載

docker pull cloudera/quickstart:latest

需要時間 4個g的映象檔案

3.啟動

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart


這條docker run命令用來啟動一個名為quickstart.cloudera的Cloudera Quickstart容器,這是一個預配置的Hadoop和CDH(Cloudera Distribution Including Apache Hadoop)環境,用於快速搭建大資料處理平臺。下面是對命令中各個部分的詳細解釋:

docker run:這是啟動一個新容器的Docker命令。

--privileged=true:此標誌授予容器額外的許可權,使其能夠訪問主機的裝置和資源,比如網路裝置和硬體中斷。這在執行某些需要直接訪問底層硬體的軟體時很有用,但同時也增加了安全風險。

--hostname=quickstart.cloudera:設定容器的主機名,這在容器內部的網路識別和配置中非常重要。

-p 8020:8020,-p 7180:7180...-p 8888:8888:這一系列-p標誌用於埠對映,將容器內的埠對映到宿主機的相應埠。例如,-p 8020:8020意味著容器內的8020埠將被對映到宿主機的8020埠。這樣,從宿主機或網路上的其他機器可以透過這些埠訪問容器中的服務。

-t:表示容器將在一個tty(終端)中執行,這意味著標準輸入、輸出和錯誤流都將保持開啟狀態。

-i:表示互動模式,意味著容器將以互動的方式執行,接受來自標準輸入的資料。

4239cd2958c6:這看起來像是一個容器ID或映象ID。但是,通常我們會使用映象的名稱和標籤來執行容器,例如cloudera/quickstart。這裡可能是直接從一個具體的映象ID執行,這通常在你已經拉取了映象並知道其確切的ID時使用。

/usr/bin/docker-quickstart:這是容器啟動時執行的命令或程式。在Cloudera Quickstart容器中,這通常是一個指令碼,用於初始化和啟動Hadoop、CDH等服務。

這條命令啟動的容器將允許你透過一系列的埠訪問Hadoop生態系統中的各種服務,如HDFS NameNode、Cloudera Manager、Impala、Hive、YARN Resource Manager等。每個埠號對應著不同的服務,便於在宿主機上管理和監控這些服務。

在實際使用中,建議使用映象的完整名稱和標籤,例如cloudera/quickstart:latest,而不是直接使用映象ID,以增加可讀性和可維護性。

上面命令執行完 就進入容器裡面了

執行 /home/cloudera/cloudera-manager --force --express &

前面的宿主機和容器埠已經對映了,直接使用宿主機:7180訪問

相關文章