從零自學Hadoop(04):Linux準備下

sinodzh發表於2015-09-29

閱讀目錄

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  我們已經準備好了網路訪問,防火牆,Hosts,SSH等設定,下面我們根據上篇中的檢查列表處理下剩下的內容,包括yum,時間同步,本地倉庫等。

  我們開始吧。

搭建環境

一:檢查yum,出現了列表就說明已經安裝。

rpm -qa|grep yum

二:修改yum源

  由於國內網路的情況,所以儘量還是找點國內的映象,或者比較快的國外映象。

  目前俺只找到一個源還行(上海交通大學的),不過大家有好的源,還是分享出來吧。

#進入目錄
cd /etc/yum.repos.d/
#列表
ls -al

  在這裡我們就修改CentOS-Base.repo就可以了。

  將原來的註釋掉,然後加入baseurl=http://ftp.sjtu.edu.cn/centos/$releasever/os/$basearch/

vim CentOS-Base.repo

三:H30時間伺服器安裝

  這裡需要安裝時間伺服器,其他的伺服器通過這個來進行多機器時間的同步。

yum install ntp

  配置ntp.conf

vim /etc/ntp.conf

  將H30的本地時鐘作為時間供給源,這樣,即便它失去網路連線,它也可以繼續為網路提供服務。

server 127.127.1.0
fudge 127.127.1.0 stratum 10

  如果叢集是在一個封閉的區域網內,可以遮蔽掉預設的server。

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

  [restrict]引數設定方式:
  restrict [address] mask [netmask_ip] [parameter]
  其中parameter的引數主要有:
    ignore        :    拒絕所有型別的ntp連線
    nomodify    :    客戶端不能使用ntpc與ntpq兩支程式來修改伺服器的時間引數
    noquery        :    客戶端不能使用ntpq、ntpc等指令來查詢伺服器時間,等於不提供ntp的網路校時
    notrap        :    不提供trap這個遠端時間登入的功能
    notrust        :    拒絕沒有認證的客戶端
    nopeer        :    不與其他同一層的ntp伺服器進行時間同步

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

  這一行的含義是授權192.168.1.0網段上的所有機器可以從這臺機器上查詢和同步時間。這裡的配置涉及到了一些網路知識。 對於第一個引數[address] 它可能是一個IP,也可能是一個網段,這取決於後面給出的子網掩碼。如果這裡的子網掩碼是255.255.255.255,那麼配置就變成了只授權給IP是192.168.1.0的那一臺機器連線!但是這裡子網掩碼是255.255.255.0,則此時的192.168.1.0就是一個網路標識了!它代表的是這樣一個網段:192.168.1這個網段了。

  啟動ntp服務

#啟動
service ntpd start
#開機啟動
chkconfig ntpd on
#狀態
service ntpd status

四:其他客戶機配置

  安裝

  修改ntp.conf

  手動同步時間

  這裡暫時不要開ntpd服務,開了就不能手動同步了,因為使用同一個埠。

ntpdate 192.168.1.30

這裡出一個思考題,學習得舉一反三,掌握基本的原理,其他的只是組合搭配了。

  ntpdate H30 行不行得通。

注:這裡可以使用-u這樣,就不用停止ntpd服務。就可以同步時間。

ntpdate -u 192.168.1.30

  然後,我們開啟服務

#開啟服務
service ntpd start
#開機啟動
chkconfig ntpd on

  檢查狀態

ntpstat

ntpq -p

  這兩個命令都可以檢視是否與H30同步了。

watch ntpq -p

   這樣,我們的時間同步就做到位了。

五:H30搭建本地倉庫

  那些庫檔案都不小,而且從yum上下,很多都不穩定,下的你開始懷疑自己的智商,所以,作為生產環境,我們還是辛苦點,一部到位,做個屬於我們自己的本地倉庫。

  本篇下面的內容均是介紹本地倉庫的搭建。這次我們搭建的是基於html的本地倉庫。

六:安裝httpd服務

  httpd是Apache超文字傳輸協議(HTTP)伺服器的主程式。被設計為一個獨立執行的後臺程式,它會建立一個處理請求的子程式或執行緒的池。

yum install httpd
service httpd start
chkconfig httpd on

  我們開啟瀏覽器,輸入192.168.1.30

  這樣說明httpd服務正常執行。

七:安裝createrepo

yum install createrepo

八:安裝yum-utils

yum install yum-utils

九:拷貝資原始檔

  通過Xftp4將檔案copy到/var/www/html/hdp目錄,如果沒有該目錄,建立。

cd /var/www/html
ls -al
#建立hdp目錄
mkdir hdp

  開始Copy,這裡使用的都是最新的hdp和ambari,大家是不是開始激動了。

  這裡主要是HDP-2.3.0.0-centos6-rpm.tar和HDP-UTILS-1.1.0.20-centos6.tar要拷貝進來,劇透下,後面我們使用ambari安裝的時候,需要這兩個庫。

十:解壓縮檔案

tar zxvf HDP-2.3.0.0-centos6-rpm.tar.gz 

tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz

  我們可以明顯的看到多了兩個綠色的目錄。

十一:建立基於html的建立源

  在html的目錄下,執行

createrepo hdp

  執行完成後,我們可以看到hdp目錄會多一個repodata的新目錄。

-------------------------------------------------------------------------------

  到此,我們這部分內容暫時落幕,剩下的本地庫的留到下一章節補充完善。

 

 

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

相關文章