偽分散式hdfs的配置(個人總結)
1、首先找到HADOOP_HOME目錄下
(我配置的hadoop路為:/opt/module/hadoop-2.7.3/ ),然後進入etc目錄下hadoo下p的的core-site.xml
2、修改core-site.xml
fs.defaultFS hdfs://mypc:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.3/data/tmp其中第一個property是指示Namenode在哪臺機器以及接收客戶端和DataNode的埠號,第二個property是指示資料儲存倉庫的路徑
3、配置好之後記得用hadoop namenode -format生成儲存倉庫的相關檔案,
這個data/tmp/都是format幫忙生成的,不要自己自己建立,否則會報錯,然後報錯了可以進入到HADOOP_NAME/logs/下ls檢視log檔案:tail -n 100 **/log(一定要進入目錄下才行)
然後成功了會有這樣的提示資訊,否則檢視自己是不是因為手動輸入導致的錯誤
4、可以用tree檢視生成的目錄結構(沒有安裝tree可以使用命令yum -y install tree進行安裝)
5、啟動成功後用jps檢視是這樣
當然有時候上面執行失敗了也會短暫的出現Namenode,沒幾秒鐘就消失了,成功的標誌是第三步紅框框住的部分。
6、接下來關閉防火牆:systemctl stop firewalld
7、然後可以在windows瀏覽器中輸入主機地址或者主機名
(如果在windows中配置了hosts的話,配置hosts主機名對映的方法C:\Windows\System32\drivers\etc下面的hosts檔案使用notepad++,這個是個文字編輯神器,沒有的話下一個,因為記事本更改不了,會提示需要系統許可權):例如在瀏覽器中輸入:192.168.152.201:50070(這個50070和配置的那個埠號沒關係,用這個就行)或者mypc:50070(我配置了主機對映所以這樣也可以)
8、看到這個頁面就大功告成了
相關文章
- hadoop3.1.0 HDFS快速搭建偽分散式環境Hadoop分散式
- 大資料2-Hadoop偽分散式+ZK+HDFS大資料Hadoop分散式
- Redis 偽分散式安裝部署配置Redis分散式
- 在 Ubuntu 22 的基礎上進行 Hadoop 偽分散式(HDFS)的搭建UbuntuHadoop分散式
- HDFS分散式儲存分散式
- 分散式鎖總結分散式
- CentOS6.5實現Hadoop_2.8.1編譯及HDFS偽分散式部署CentOSHadoop編譯分散式
- CentOS6.5基於ROOT使用者的HDFS偽分散式部署(a Single Node Cluster)CentOS分散式
- CentOS6.5基於Hadoop使用者的HDFS偽分散式部署(a Single Node Cluster)CentOSHadoop分散式
- HDFS分散式叢集搭建分散式
- 分散式事務總結分散式
- hadoop+spark偽分散式HadoopSpark分散式
- SpringBoot的個人總結Spring Boot
- HDFS分散式檔案系統分散式
- 分散式檔案系統-HDFS分散式
- Hadoop hdfs完全分散式搭建教程Hadoop分散式
- 個人總結
- 偽元素和偽類的區別總結
- Hadoop HDFS分散式檔案系統 常用命令彙總Hadoop分散式
- Hbase偽分散式環境搭建分散式
- 什麼是HDFS 分散式儲存分散式
- 2021我的個人總結
- HDFS知識點總結
- 338、分散式高階篇總結分散式
- 分散式爬蟲總結和使用分散式爬蟲
- gulp個人總結
- CentOS7 hadoop3.3.1安裝(單機分散式、偽分散式、分散式)CentOSHadoop分散式
- 大資料之Hadoop偽分散式的搭建大資料Hadoop分散式
- Mac部署hadoop3(偽分散式)MacHadoop分散式
- 4.hadoop之偽分散式模式Hadoop分散式模式
- Hadoop--HDFS完全分散式(簡單版)Hadoop分散式
- 深入分散式快取 — 學習總結分散式快取
- 2023年個人總結
- 爬蟲個人總結爬蟲
- 2018年個人總結
- activeMQ個人理解總結MQ
- 【個人總結】常用技巧
- HDFS分散式儲存的意義及技術解析分散式