- 主節點（master_ip + master_port）責協調所有其他節點和程序的工作，由主節點所在伺服器的IP地址和主節點程序的埠號來確定主節點。主節點還負責監控系統狀態、處理任務分配、結果彙總等任務，因此是整個系統的關鍵部分。
- 節點編號(node_rank)是系統中每個節點的唯一識別符號，用於區分不同計算機之間的通訊。
- 全域性程序編號(rank)是整個系統中的每個程序的唯一識別符號，用於區分不同程序之間的通訊。
- 區域性程序編號(localrank)是單個節點內的每個程序的唯一識別符號，用於區分同一節點內的不同程序之間的通訊。
- 全域性總程序數(world size)是整個系統中執行的所有程序的總數，用於確定可以並行完成多少工作及完成任務所需的資源數量。
摘自：《大規模語言模型：從理論到實踐》的第113頁。