24-暑假軟體工程週報(5)

KuanDong24發表於2024-08-03
hadoop基本命令
./bin/hdfs namenode -format 格式化 重啟網路管理器 service network restart 暫時關閉防火牆 systemctl stop firewalld start-all.sh ./sbin/start-all.sh 啟動所有的Hadoop守護程序。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守護程序 start-dfs.sh 啟動Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停止Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode 檢視指定目錄下內容 hdfs dfs –ls [檔案目錄] hdfs dfs -ls -R //顯示目錄結構 將本地檔案儲存至hadoop hdfs dfs –put [本地地址] [hadoop目錄] hdfs dfs –put /home/t/file.txt /user/t 將hadoop上某個檔案down至本地已有目錄下 hadoop dfs -get [檔案目錄] [本地目錄] hadoop dfs –get /user/t/ok.txt /home/t 刪除hadoop上指定檔案 hdfs dfs –rm [檔案地址] hdfs dfs –rm /user/t/ok.txt 在 /home/hadoop/hbase-2.2.3/bin 下 執行 cd $HBASE_HOME ./bin/start-hbase.sh 啟動zookeeper cd /home/hadoop/apache-zookeeper-3.5.7-bin 啟動命令:./bin/zkServer.sh start 停止命令:./bin/zkServer.sh stop 重啟命令:./bin/zkServer.sh restart 狀態檢視命令:./bin/zkServer.sh status
hbase
檢視hbase伺服器狀態:status 查詢Hbase版本:version 建立表 create ‘表名稱’, ‘列族名稱1’,‘列族名稱2’,‘列族名稱N’ create 'user','info' 建立namespace create_namespace 'test' 刪除namespace drop_namespace 'test' 檢視namespace describe_namespace 'test' 列出全部namespace list_namespace 在namespace下建立表 create 'test:user', 'info' 檢視namespace下的表 list_namespace_tables 'test' 新增資料 put 'user','20070301', 'info:name', 'ljs' put 'user','20070301', 'info:age', '30' put 'user','20070301', 'info:sex', '1' 根據鍵值查詢資料 get 'user','20070301' get 'user','20070301', 'info' 檢視所有表 list 檢視錶結構: desc 'user' 檢視錶中的記錄總數: count '表名稱' 檢視META表資料 scan 'hbase:meta' scan 'hbase:meta', {COLUMNS => 'info:regioninfo'} 查詢整表 scan 'user' 查詢多條資料 scan 'user',{COLUMNS =>'info',LIMIT =>2, STARTROW => '20070101',STOPROW=>'20100101'} scan 'user', {COLUMNS =>'info', TIMERANGE => [1519368887635, 1519369047487]} 根據行的字首過濾 scan 'user', FILTER => "PrefixFilter ('2007')" 根據列的字首過濾 scan 'user', FILTER=>"ColumnPrefixFilter('name')" 根據ValueFilter的值過濾 scan 'user', {FILTER=>"ValueFilter(=,'substring:ljs')"} scan 'user', FILTER=>"ColumnPrefixFilter('name') AND ValueFilter(=,'substring:ljs')" 根據RowFilter的值過濾 scan 'user', FILTER=>"RowFilter(<=,'binary:20170301')" 根據FamilyFilter的值過濾 scan 'user', FILTER=>"FamilyFilter(=,'substring:info')" 根據rowkey裡面包含的值過濾 import org.apache.hadoop.hbase.filter.CompareFilter import org.apache.hadoop.hbase.filter.SubstringComparator import org.apache.hadoop.hbase.filter.RowFilter scan 'user', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('2007'))} 刪除記錄 delete '表名' ,'行名稱' , '列名稱’ delete 'user', '20070301', 'info:age‘ drop 表 disable 'user' drop 'user' HBase Shell指令碼 可以把所有的HBase Shell命令寫入一個檔案內,像Linux Shell指令碼程式一樣,順序執行所有命令. hbase shell test.sh

相關文章