24-暑假軟體工程週報(3)

KuanDong24發表於2024-07-21

本週,我繼續深入學習Hadoop和HBase。在上次報告的基礎上,我主要集中在HBase的配置和使用方面,並遇到了一些問題,透過查閱資料和除錯成功解決了這些問題。

1.我學習了HBase的基本概念和架構。HBase是一個基於Hadoop HDFS的分散式資料庫,專門用於處理大規模資料的隨機讀寫。它透過Zookeeper進行叢集管理,以保證高可用性和一致性。在實際配置HBase叢集時,我首先安裝和配置了Zookeeper。Zookeeper的配置需要確保所有節點的 `zoo.cfg` 檔案一致,並正確設定 `dataDir` 和 `clientPort`。啟動Zookeeper後,我驗證了其正常執行。

2.HBase的安裝和配置。我下載了最新版本的HBase,並在每個節點上解壓縮。配置檔案主要包括 `hbase-site.xml` 和 `hbase-env.sh`。在 `hbase-site.xml` 中,我配置了HBase根目錄(`hbase.rootdir`)指向HDFS路徑,並設定了Zookeeper的連線資訊。在 `hbase-env.sh` 中,我配置了Java Home路徑,並根據節點的硬體配置調整了Heap Size。

3.在啟動HBase時,我遇到了由於Zookeeper連線失敗導致的啟動問題。經過檢查,發現是由於防火牆設定阻止了通訊。我透過關閉防火牆和配置正確的防火牆規則,解決了這個問題。隨後,我啟動了HBase叢集,並透過HBase Shell驗證了叢集的正常執行。

4.實際使用HBase中,學習了建立表、插入資料和查詢資料的基本操作。

本週我對HBase的配置和使用有了更深入的理解,提高了在分散式環境中解決問題的能力。

工作時間:7月14日 8:00-11:00

工作內容:

基本完成小區水電費管理系統頁面配置

進行mysql資料庫配置

工作時間:7月15日 8:00-11:00

工作內容:

基本完成水電費大程式編譯,可正常執行使用。

學習Oracle課程

工作時間:7月16日 8:00-11:00

工作內容:

繼續學習Oracle應用和css應用,Hadoop

工作時間:7月17日 8:00-11:00

工作內容:

學習Oracle資料庫,試執行第一個程式,完成增刪改查過程。

工作時間:7月18日 8:00-11:00

工作內容:

完成資料庫程式測試

Hadoop環境配置,選取3.1.3

工作時間:7月19日 8:00-11:00

完成資料庫程式驗收

完成Hadoop及hbase資料庫環境配置,測試程式完成

工作時間:7月20日 14:30-17:00

實現idea連線hbase資料庫

完成考試驗收

相關文章