好程式設計師大資料培訓分享:Hadoop叢集同步
好程式設計師大資料培訓分享:Hadoop 叢集同步, 給大家帶來的技術分享是——Hadoop 叢集同步。
一、同步方式
選擇一個機器,作為時間伺服器( 這裡選擇 hadoop01) ,所有的機器與這臺叢集時間進行定時的同步,比如,每隔十分鐘,同步一次時間。
二、所需工具
時間同步伺服器有兩個:ntpd 和 ntpdatp 。雖然使用二者都能達到時間同步的目的,但是使用之前得弄清楚一個問題, ntpd 與 ntpdate 在更新時間時有什麼區別。 ntpd 不僅僅是時間同步伺服器,它還可透過客戶端與標準時間伺服器進行時間同步,而且是平滑同步,並非 ntpdate 立即同步,在生產環境中慎用 ntpdate ,也正如此兩者不可同時執行。
三、具體操作步驟
時間伺服器配置
(1) 檢查 ntp 是否安裝。 [root@hadoop01 Desktop]# rpm -qa|grep ntp 如果顯示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-1.el6.centos.x86_64 則證明 ntp 已經安裝,否則要先安裝 ntp 服務。 [root@hadoop01 Desktop]# yum install -y ntp.
(2) 修改 ntp 配置檔案 [root@hadoop01 Desktop]# vi /etc/ntp.conf. 先配置客戶端的授權,也就是給指定的機器 ( 客戶端 ) 設定訪問 NTP Server 的許可權,這是透過 restrict 配置項實現的。將 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 釋放。改為 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap. 如果叢集是在一個封閉的區域網內,可以遮蔽掉預設的 server 。
將server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.
server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst 遮蔽改為
#server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst. 將本機的本地時鐘作為時間供給源,這樣,即便它失去網路連線,它也可以繼續為網路提供服務增加 server 127.127.1.0 fudge 127.127.1.0 stratum. 修改 /etc/sysconfig/ntpd 檔案
[root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd 增加 SYNC_HWCLOCK=yes 之後重啟 ntpd , [root@hadoop01 Desktop]# service ntpd restart ,設定 ntpd 開機預設啟動 [root@hadoop01 Desktop]# chkconfig mtpd on 。完成以上操作以後,使用 date 命令檢視系統時間與當前時間是否對應,如果還不對應,應該是時區的問題。修改時區 [root@hadoop01 Desktop]# tzselect 。根據提示選擇正確的時區,然後將 cp /usr/share/zoneinfo/Asia/Shanghai 設定為到 /etc/localtime 的連結
[root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
四、其他機器配置
配置每十分鐘與時間伺服器同步一次
需要在叢集中其他的機器中都編寫時間同步指令碼,這裡以hadoop02 為例, [root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01
重啟crond 服務。 [root@hadoop02 Desktop]# service crond restart 。如果需要,同樣要修改時區,操作同上。
到此,分享結束,歡迎大家一起探討學習!
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69913864/viewspace-2698807/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 好程式設計師大資料培訓分享Hadoop分散式叢集程式設計師大資料Hadoop分散式
- 好程式設計師大資料培訓分享Hadoop的shuffle過程程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享Hadoop入門進階程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享Hadoop怎樣處理資料?程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享Hadoop技術優缺點程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享MapReduce理解程式設計師大資料
- 好程式設計師大資料培訓分享Hadoop入門學習線路圖程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享常見的Hadoop和Spark專案程式設計師大資料HadoopSpark
- 好程式設計師大資料培訓分享HDFS讀流程程式設計師大資料
- 好程式設計師大資料培訓分享spark之Scala程式設計師大資料Spark
- 好程式設計師大資料筆記之:Hadoop叢集搭建程式設計師大資料筆記Hadoop
- 好程式設計師大資料培訓分享大資料的應用程式設計師大資料
- 好程式設計師大資料培訓分享大資料還學嗎?程式設計師大資料
- 好程式設計師大資料培訓分享mysql資料型別程式設計師大資料MySql資料型別
- 好程式設計師大資料培訓之Hadoop常見問題程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享大資料的影響一程式設計師大資料
- 好程式設計師大資料培訓分享大資料兩大核心技術程式設計師大資料
- 好程式設計師大資料培訓簡述Hadoop常見問題程式設計師大資料Hadoop
- 好程式設計師大資料培訓分享大資料就業方向有哪些?程式設計師大資料就業
- 好程式設計師大資料培訓分享大資料面試寶典三程式設計師大資料面試
- 好程式設計師大資料培訓分享大資料面試寶典四程式設計師大資料面試
- 好程式設計師大資料培訓分享大資料面試寶典六程式設計師大資料面試
- 好程式設計師大資料培訓分享大資料面試寶典一程式設計師大資料面試
- 好程式設計師大資料培訓分享大資料面試寶典二程式設計師大資料面試
- 好程式設計師大資料培訓分享Spark技術總結程式設計師大資料Spark
- 好程式設計師大資料培訓分享MySQL8.0新特性程式設計師大資料MySql
- 好程式設計師大資料培訓分享之Ambari和ClouderaManager對比程式設計師大資料Cloud
- 好程式設計師大資料培訓分享之hive儲存過程程式設計師大資料Hive儲存過程
- 好程式設計師大資料培訓分享HBase Filter過濾器概述程式設計師大資料Filter過濾器
- 好程式設計師大資料培訓分享如何區分Hive與HBase程式設計師大資料Hive
- 好程式設計師大資料培訓分享Spark需要什麼基礎?程式設計師大資料Spark
- 好程式設計師大資料培訓分享settings和mapping的意義程式設計師大資料APP
- 好程式設計師大資料培訓分享之MySQL資料庫SQL簡介程式設計師大資料MySql資料庫
- 好程式設計師雲端計算培訓分享伺服器叢集cluster講解程式設計師伺服器
- 好程式設計師大資料培訓分享之《MySQL資料庫》常用函式整理程式設計師大資料MySql資料庫函式
- 好程式設計師大資料培訓分享MySQL資料庫儲存引擎簡介程式設計師大資料MySql資料庫儲存引擎
- 好程式設計師大資料培訓分享之hive常用內部函式程式設計師大資料Hive函式
- 好程式設計師大資料培訓分享Hive基礎知識講解程式設計師大資料Hive