AzureStack混合雲大資料解決方案

衡子發表於2018-05-10

AzureStack是Azure的私有云解決方案。AzureStack可以幫助使用者實現混合雲的部署模式。

本文將介紹混合雲的模式下,Azure作為計算資源,AzureStack作為儲存資源。如下圖:

在Azure上我們建立Hadoop的計算資源,在AzureStack上建立儲存賬戶,把需要分析的資料儲存在Azure Stack上。把Hadoop的儲存採用wasb協議指向AzureStack的儲存賬號。

具體部署過程如下:

一 在AzureStack上建立儲存賬戶

在AzureStack的portal頁面上建立一個儲存賬戶:hdisa

二 在Azure上建立Hadoop叢集

1 選擇HDInsight Clusters

2 選擇Linux Hadoop叢集

3 選擇建立一個新的Storage Account,在建立完成後,這個賬戶會被替換掉

4 驗證,並建立

三 更改hadoop的儲存賬戶

1 登入Hadoop的頭節點

Portal上獲取登入資訊:

2 下載更改hadoop儲存賬戶的指令碼

wget https://hdiconfigactions.blob.core.windows.net/linuxaddstorageaccountv01/add-storage-account-v01.sh

3 把global的儲存的endpoint改成AzureStack的endpoint

開啟add-storage-account-v01.sh檔案,進行更改:

:%s/blob.windows.net/blob.shanghai.xxxx.com/gc

共有6個需要更改,另外還有一個是連結地址,不需要更改。

另外Storage Validate的部分註釋掉,55行到59行:

108-115行的怪字元也刪除掉:

執行這個指令碼:

…………

儲存賬戶就加好了。

4 把這個儲存賬戶設定為預設賬戶

vim /etc/hadoop/conf/core-site.xml

5 重啟服務

開啟HDInsight的Ambari Views:

 

可以用命令列檢視儲存的情況:

可以看到container內的檔案:

檢視檔案內容:

四 總結

通過在Azure上建立Hadoop的叢集,掛載AzureStack上的儲存賬戶,可以實現敏感資料不出資料中心的混合雲部署模式。

相關文章