好程式設計師大資料培訓分享:Hadoop叢集同步

好程式設計師發表於2020-06-17

   好程式設計師大資料培訓分享:Hadoop 叢集同步, 給大家帶來的技術分享是——Hadoop 叢集同步。

一、同步方式

  選擇一個機器,作為時間伺服器( 這裡選擇 hadoop01) ,所有的機器與這臺叢集時間進行定時的同步,比如,每隔十分鐘,同步一次時間。

二、所需工具

  時間同步伺服器有兩個:ntpd ntpdatp 。雖然使用二者都能達到時間同步的目的,但是使用之前得弄清楚一個問題, ntpd ntpdate 在更新時間時有什麼區別。 ntpd 不僅僅是時間同步伺服器,它還可透過客戶端與標準時間伺服器進行時間同步,而且是平滑同步,並非 ntpdate 立即同步,在生產環境中慎用 ntpdate ,也正如此兩者不可同時執行。

三、具體操作步驟

  時間伺服器配置

  (1) 檢查 ntp 是否安裝。 [root@hadoop01 Desktop]# rpm -qa|grep ntp 如果顯示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch

  ntpdate-4.2.6p5-1.el6.centos.x86_64 則證明 ntp 已經安裝,否則要先安裝 ntp 服務。 [root@hadoop01 Desktop]# yum install -y ntp.

  (2) 修改 ntp 配置檔案 [root@hadoop01 Desktop]# vi /etc/ntp.conf. 先配置客戶端的授權,也就是給指定的機器 ( 客戶端 ) 設定訪問 NTP Server 的許可權,這是透過 restrict 配置項實現的。將 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 釋放。改為 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap. 如果叢集是在一個封閉的區域網內,可以遮蔽掉預設的 server

  將server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.

  server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst 遮蔽改為

  #server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst. 將本機的本地時鐘作為時間供給源,這樣,即便它失去網路連線,它也可以繼續為網路提供服務增加 server 127.127.1.0 fudge 127.127.1.0 stratum. 修改 /etc/sysconfig/ntpd 檔案

  [root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd 增加 SYNC_HWCLOCK=yes 之後重啟 ntpd [root@hadoop01 Desktop]# service ntpd restart ,設定 ntpd 開機預設啟動 [root@hadoop01 Desktop]# chkconfig mtpd on 。完成以上操作以後,使用 date 命令檢視系統時間與當前時間是否對應,如果還不對應,應該是時區的問題。修改時區 [root@hadoop01 Desktop]# tzselect 。根據提示選擇正確的時區,然後將 cp /usr/share/zoneinfo/Asia/Shanghai 設定為到 /etc/localtime 的連結

  [root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

四、其他機器配置

  配置每十分鐘與時間伺服器同步一次

  需要在叢集中其他的機器中都編寫時間同步指令碼,這裡以hadoop02 為例, [root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01

  重啟crond 服務。 [root@hadoop02 Desktop]# service crond restart 。如果需要,同樣要修改時區,操作同上。

  到此,分享結束,歡迎大家一起探討學習!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69913864/viewspace-2698807/,如需轉載,請註明出處,否則將追究法律責任。

相關文章