AzureStack是Azure的私有云解決方案。AzureStack可以幫助使用者實現混合雲的部署模式。
本文將介紹混合雲的模式下,Azure作為計算資源,AzureStack作為儲存資源。如下圖:
在Azure上我們建立Hadoop的計算資源,在AzureStack上建立儲存賬戶,把需要分析的資料儲存在Azure Stack上。把Hadoop的儲存採用wasb協議指向AzureStack的儲存賬號。
具體部署過程如下:
一 在AzureStack上建立儲存賬戶
在AzureStack的portal頁面上建立一個儲存賬戶:hdisa
二 在Azure上建立Hadoop叢集
1 選擇HDInsight Clusters
2 選擇Linux Hadoop叢集
3 選擇建立一個新的Storage Account,在建立完成後,這個賬戶會被替換掉
4 驗證,並建立
三 更改hadoop的儲存賬戶
1 登入Hadoop的頭節點
Portal上獲取登入資訊:
2 下載更改hadoop儲存賬戶的指令碼
wget https://hdiconfigactions.blob.core.windows.net/linuxaddstorageaccountv01/add-storage-account-v01.sh
3 把global的儲存的endpoint改成AzureStack的endpoint
開啟add-storage-account-v01.sh檔案,進行更改:
:%s/blob.windows.net/blob.shanghai.xxxx.com/gc
共有6個需要更改,另外還有一個是連結地址,不需要更改。
另外Storage Validate的部分註釋掉,55行到59行:
108-115行的怪字元也刪除掉:
執行這個指令碼:
…………
儲存賬戶就加好了。
4 把這個儲存賬戶設定為預設賬戶
vim /etc/hadoop/conf/core-site.xml
5 重啟服務
開啟HDInsight的Ambari Views:
可以用命令列檢視儲存的情況:
可以看到container內的檔案:
檢視檔案內容:
四 總結
通過在Azure上建立Hadoop的叢集,掛載AzureStack上的儲存賬戶,可以實現敏感資料不出資料中心的混合雲部署模式。