ClusterShell:一個在叢集節點上並行執行命令的好工具
我們過去曾寫過兩篇如何並行地在多個遠端伺服器上執行命令的文章:並行 SSH(PSSH) 和分散式 Shell(DSH)。今天,我們將討論相同型別的主題,但它允許我們在叢集節點上執行相同的操作。你可能會想,我可以編寫一個小的 shell 指令碼來實現這個目的,而不是安裝這些第三方軟體包。
當然,你是對的,如果要在十幾個遠端系統中執行一些命令,那麼你不需要使用它。但是,你的指令碼需要一些時間來完成此任務,因為它是按順序執行的。想想你要是在一千多臺伺服器上執行一些命令會是什麼樣子?在這種情況下,你的指令碼用處不大。此外,完成任務需要很長時間。所以,要克服這種問題和情況,我們需要可以在遠端計算機上並行執行命令。
為此,我們需要在一個並行應用程式中使用它。我希望這個解釋可以解決你對並行實用程式的疑慮。
ClusterShell
ClusterShell 是一個事件驅動的開源 Python 庫,旨在在伺服器場或大型 Linux 叢集上並行執行本地或遠端命令。(clush
即 ClusterShell)。
它將處理在 HPC 叢集上遇到的常見問題,例如在節點組上操作,使用最佳化過的執行演算法執行分散式命令,以及收集結果和合並相同的輸出,或檢索返回程式碼。
ClusterShell 可以利用已安裝在系統上的現有遠端 shell 設施,如 SSH。
ClusterShell 的主要目標是透過為開發人員提供輕量級、但可擴充套件的 Python API 來改進高效能叢集的管理。它還提供了 clush
、clubak
和 cluset
/nodeset
等方便的命令列工具,可以讓傳統的 shell 指令碼利用這個庫的一些功能。
ClusterShell 是用 Python 編寫的,它需要 Python(v2.6+ 或 v3.4+)才能在你的系統上執行。
如何在 Linux 上安裝 ClusterShell?
ClusterShell 包在大多數發行版的官方包管理器中都可用。因此,使用發行版包管理器工具進行安裝。
對於 Fedora 系統,使用 DNF 命令來安裝 clustershell。
$ sudo dnf install clustershell
如果系統預設是 Python 2,這會安裝 Python 2 模組和工具,可以執行以下命令安裝 Python 3 開發包。
$ sudo dnf install python3-clustershell
在執行 clustershell 安裝之前,請確保你已在系統上啟用 EPEL 儲存庫。
對於 RHEL/CentOS 系統,使用 YUM 命令 來安裝 clustershell。
$ sudo yum install clustershell
如果系統預設是 Python 2,這會安裝 Python 2 模組和工具,可以執行以下命令安裝 Python 3 開發包。
$ sudo yum install python34-clustershell
對於 openSUSE Leap 系統,使用 Zypper 命令 來安裝 clustershell。
$ sudo zypper install clustershell
如果系統預設是 Python 2,這會安裝 Python 2 模組和工具,可以執行以下命令安裝 Python 3 開發包。
$ sudo zypper install python3-clustershell
對於 Debian/Ubuntu 系統,使用 APT-GET 命令 或 APT 命令 來安裝 clustershell。
$ sudo apt install clustershell
如何在 Linux 使用 PIP 安裝 ClusterShell?
可以使用 PIP 安裝 ClusterShell,因為它是用 Python 編寫的。
在執行 clustershell 安裝之前,請確保你已在系統上啟用了 Python 和 PIP。
$ sudo pip install ClusterShell
如何在 Linux 上使用 ClusterShell?
與其他實用程式(如 pssh
和 dsh
)相比,它是直接了當的優秀工具。它有很多選項可以在遠端並行執行。
在開始使用 clustershell 之前,請確保你已啟用系統上的無密碼登入。
以下配置檔案定義了系統範圍的預設值。你不需要修改這裡的任何東西。
$ cat /etc/clustershell/clush.conf
如果你想要建立一個伺服器組,那也可以。預設情況下有一些示例,請根據你的要求執行相同操作。
$ cat /etc/clustershell/groups.d/local.cfg
只需按以下列格式執行 clustershell 命令即可從給定節點獲取資訊:
$ clush -w 192.168.1.4,192.168.1.9 cat /proc/version
192.168.1.9: Linux version 4.15.0-45-generic ([email protected]) (gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)) #48-Ubuntu SMP Tue Jan 29 16:28:13 UTC 2019
192.168.1.4: Linux version 3.10.0-957.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Nov 8 23:39:32 UTC 2018
選項:
-w:
你要執行該命令的節點。
你可以使用正規表示式而不是使用完整主機名和 IP:
$ clush -w 192.168.1.[4,9] uname -r
192.168.1.9: 4.15.0-45-generic
192.168.1.4: 3.10.0-957.el7.x86_64
或者,如果伺服器位於同一 IP 系列中,則可以使用以下格式:
$ clush -w 192.168.1.[4-9] date
192.168.1.6: Mon Mar 4 21:08:29 IST 2019
192.168.1.7: Mon Mar 4 21:08:29 IST 2019
192.168.1.8: Mon Mar 4 21:08:29 IST 2019
192.168.1.5: Mon Mar 4 09:16:30 CST 2019
192.168.1.9: Mon Mar 4 21:08:29 IST 2019
192.168.1.4: Mon Mar 4 09:16:30 CST 2019
clustershell 允許我們以批處理模式執行命令。使用以下格式來實現此目的:
$ clush -w 192.168.1.4,192.168.1.9 -b
Enter 'quit' to leave this interactive mode
Working with nodes: 192.168.1.[4,9]
clush> hostnamectl
---------------
192.168.1.4
---------------
Static hostname: CentOS7.2daygeek.com
Icon name: computer-vm
Chassis: vm
Machine ID: 002f47b82af248f5be1d67b67e03514c
Boot ID: f9b37a073c534dec8b236885e754cb56
Virtualization: kvm
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-957.el7.x86_64
Architecture: x86-64
---------------
192.168.1.9
---------------
Static hostname: Ubuntu18
Icon name: computer-vm
Chassis: vm
Machine ID: 27f6c2febda84dc881f28fd145077187
Boot ID: f176f2eb45524d4f906d12e2b5716649
Virtualization: oracle
Operating System: Ubuntu 18.04.2 LTS
Kernel: Linux 4.15.0-45-generic
Architecture: x86-64
clush> free -m
---------------
192.168.1.4
---------------
total used free shared buff/cache available
Mem: 1838 641 217 19 978 969
Swap: 2047 0 2047
---------------
192.168.1.9
---------------
total used free shared buff/cache available
Mem: 1993 352 1067 1 573 1473
Swap: 1425 0 1425
clush> w
---------------
192.168.1.4
---------------
09:21:14 up 3:21, 3 users, load average: 0.00, 0.01, 0.05
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
daygeek :0 :0 06:02 ?xdm? 1:28 0.30s /usr/libexec/gnome-session-binary --session gnome-classic
daygeek pts/0 :0 06:03 3:17m 0.06s 0.06s bash
daygeek pts/1 192.168.1.6 06:03 52:26 0.10s 0.10s -bash
---------------
192.168.1.9
---------------
21:13:12 up 3:12, 1 user, load average: 0.08, 0.03, 0.00
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
daygeek pts/0 192.168.1.6 20:42 29:41 0.05s 0.05s -bash
clush> quit
如果要在一組節點上執行該命令,請使用以下格式:
$ clush -w @dev uptime
or
$ clush -g dev uptime
or
$ clush --group=dev uptime
192.168.1.9: 21:10:10 up 3:09, 1 user, load average: 0.09, 0.03, 0.01
192.168.1.4: 09:18:12 up 3:18, 3 users, load average: 0.01, 0.02, 0.05
如果要在多個節點組上執行該命令,請使用以下格式:
$ clush -w @dev,@uat uptime
or
$ clush -g dev,uat uptime
or
$ clush --group=dev,uat uptime
192.168.1.7: 07:57:19 up 59 min, 1 user, load average: 0.08, 0.03, 0.00
192.168.1.9: 20:27:20 up 1:00, 1 user, load average: 0.00, 0.00, 0.00
192.168.1.5: 08:57:21 up 59 min, 1 user, load average: 0.00, 0.01, 0.05
clustershell 允許我們將檔案複製到遠端計算機。將本地檔案或目錄複製到同一個遠端節點:
$ clush -w 192.168.1.[4,9] --copy /home/daygeek/passwd-up.sh
我們可以透過執行以下命令來驗證它:
$ clush -w 192.168.1.[4,9] ls -lh /home/daygeek/passwd-up.sh
192.168.1.4: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 4 09:00 /home/daygeek/passwd-up.sh
192.168.1.9: -rwxr-xr-x 1 daygeek daygeek 159 Mar 4 20:52 /home/daygeek/passwd-up.sh
將本地檔案或目錄複製到不同位置的遠端節點:
$ clush -g uat --copy /home/daygeek/passwd-up.sh --dest /tmp
我們可以透過執行以下命令來驗證它:
$ clush --group=uat ls -lh /tmp/passwd-up.sh
192.168.1.7: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 6 07:44 /tmp/passwd-up.sh
將檔案或目錄從遠端節點複製到本地系統:
$ clush -w 192.168.1.7 --rcopy /home/daygeek/Documents/magi.txt --dest /tmp
我們可以透過執行以下命令來驗證它:
$ ls -lh /tmp/magi.txt.192.168.1.7
-rw-r--r-- 1 daygeek daygeek 35 Mar 6 20:24 /tmp/magi.txt.192.168.1.7
via: https://www.2daygeek.com/clustershell-clush-run-commands-on-cluster-nodes-remote-system-in-parallel-linux/
作者:Magesh Maruthamuthu 選題:lujun9972 譯者:wxy 校對:wxy
本文由 LCTT 原創編譯,Linux中國 榮譽推出
相關文章
- xcall叢集執行命令指令碼指令碼
- 如何執行一個 Conflux 節點UX
- Spark程式碼在叢集上執行過程理解Spark
- 一個基於配置檔案構建有向無環圖,並多執行緒執行圖上節點的例子執行緒
- selenium-grid 有多個節點,但 pytest.main 批次執行用例,每次只有一個節點執行用例,不能同時多個節點執行,要怎樣才能多個節點同時執行AI
- 6個在本地機器上執行 Kubernetes 的工具
- MySQL PXC叢集多個節點同時大量併發update同一行MySql
- hadoop window 遠端提交job到叢集並執行Hadoop
- 一鍵在本地搭建執行Istio 1.0的分散式Kubernetes叢集分散式
- Hadoop-叢集執行Hadoop
- idea配置dashboard並原始碼啟動叢集執行nacosIdea原始碼
- PHP命令執行集錦PHP
- linux 上 jenkins 通過節點服務在 windows 執行指令碼LinuxJenkinsWindows指令碼
- Docker命令-docker exec-在執行的容器中執行命令Docker
- PlayOnMac ,一款可以在mac上執行Windows程式的工具MacWindows
- 第19節 從庫MTS多執行緒並行回放(一)執行緒並行
- Spark叢集和任務執行Spark
- CentOS7 上搭建多節點 Elasticsearch叢集CentOSElasticsearch
- 使用容器快速在阿里雲 ECS 多節點上搭建 Citus 12.1 叢集阿里
- ray叢集多節點在NAT環境下的部署(ray兩個節點在不同wifi下連線上後丟失心跳掉線)WiFi
- consul 多節點/單節點叢集搭建
- Jedis操作單節點redis,叢集及redisTemplate操作redis叢集(一)Redis
- paramiko執行多個作業系統命令並返回作業系統
- 達夢資料庫(DM8)大規模並行叢集MPP 2節點安裝部署資料庫並行
- parallel: 一個簡單的並行執行Go迴圈的庫Parallel並行Go
- 在一臺電腦上執行兩個或多個tomcatTomcat
- 檢視Redis叢集所有節點記憶體工具Redis記憶體
- 漏掃工具AWVS命令執行
- 五行命令使用docker搭建hadoop叢集DockerHadoop
- 在 Mac 上執行 Windows 應用程式,只需一個CrossOver!MacWindowsROS
- HAC叢集新增新節點
- 4.2 叢集節點初步搭建
- Solaris叢集節點重啟
- 在linux上定期執行命令、指令碼(cron,crontab,anacron)Linux指令碼
- 在Linux中,如何進行叢集管理?Linux
- IDEA本地執行hadoop程式成功,叢集執行找不到自定義的Mapper類IdeaHadoopAPP
- 扔掉Zookeeper!在K8S中執行KRaft模式Kafka叢集K8SRaft模式Kafka
- MongoDB叢集搭建(包括隱藏節點,仲裁節點)MongoDB