從擁有一個阿里雲賬號開始使用Maxcompute

段小輝發表於2021-11-04

本教程並不會建立子賬戶來管理maxcompute,是直接使用主賬號來對maxcompute進行管理(強烈不推薦在生產環境中這樣做!!)

Step1:建立阿里雲賬號並實名認證

​ 建立一個阿里雲賬號(使用支付寶註冊登入即可),然後進行實名認證(選擇個人認證即可)。

Step2:建立訪問祕鑰

​ Maxcompute產品需要登入,但是其登入並不是需要輸入阿里雲的賬號密碼,而是需要輸入ID(相當於賬號)和Secret(相當於密碼)。進入https://ram.console.aliyun.com/manage/ak,建立AccessKey:

建立好AccessKey後,會彈出如下介面,記得將ID和Secret儲存。因為檢視Secret還需要傳送手機驗證碼(還是挺麻煩的)。

Step3:建立Maxcompute專案

​ 建立Maxcompute專案首先需要建立Dataworks空間,進入https://workbench.data.aliyun.com/ 進行工作空間配置。我們可以把Dataworks理解為一個專案,而Maxcompute就是其中提供的一些功能。

  1. 在建立DataWorks工作空間時,需要選擇地域,可以根據所在位置選擇合適的region。如果提示該區域未開通,開通即可(可以選擇基礎版本,它是免費的)。

    需要注意,Maxcompute選擇的區域需要和Dataworks一致

  1. 選擇計算引擎

    計算引擎就是我們需要的服務,比如說Maxcompute、MapReduce等等。當然我們使用他們是需要付?的。這裡選擇按量購買(大家可以根據自己的需求選擇不同的服務)。

  1. 選擇Maxcompute的付費方式

    如下圖所示,點選購買後,它就會自動將Maxcompute專案建立好。當然,如果沒有自動建立,而是回到了上一步,那我們選擇Maxcompute,然後選擇【按量付費】即可。

    需要注意,Maxcompute選擇的區域需要和Dataworks一致

  1. Maxcompute建立成功

    進入https://workbench.data.aliyun.com/#/MCEngines 可以檢視Maxcompute賬號的一些情況,比如說專案名稱、地域等等。

通過以上步驟我們便可以建立一個Maxcompute專案。

Step4:連線Maxcompute

連線Maxcompute有很多方法,這裡我選擇使用DataGrip中的MaxCompute外掛來進行操作(IDEA中也有該外掛),關於詳細的使用可以參考官方文件:https://help.aliyun.com/document_detail/50889.html?spm=a2c4g.11186623.6.1042.340114bdY3uqBR。

  1. Maxcompute Studio連線

    輸入Step2中建立的ID,Key以及專案名,即可建立。

  1. 建立表

    選擇對應的資料庫,右鍵即可建立table。

Step5:使用Maxcompute客戶端

​ Maxcompute的配置無法使用Step4中的外掛來進行配置,必須使用Maxcompute客戶端(odpscmd)來進行配置:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.671932aehWp0ix

在官方文件中下載客戶端,然後進入config資料夾配置odps_config.ini檔案,配置與Step4中配置一致。

Step6:執行客戶端

在bin目錄下有兩個檔案,根據自己的系統選擇一個直接執行即可。

如果進入到下圖,則代表已經進入到了Maxcompute中。具體命令可以參考:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.429a271duTe59c

Step7:匯入資料

匯入資料可以參考https://help.aliyun.com/document_detail/27809.html。

Step8:Maxcompute配置

Maxcompute的常用命令可以參考:https://help.aliyun.com/document_detail/27827.html?spm=a2c4g.11186623.6.703.6ed758863duG80

例如:

show SecurityConfiguration; # 檢視安全配置
set ProjectProtection=True/False; # 開啟專案空間資料保護功能
setproject READ_TABLE_MAX_ROW=5999; # 設定READ_TABLE_MAX_ROW數量

Step9:刪除Maxcompute

Maxcompute的刪除無法在Maxcompute的專案管理中進行,而是需要刪除Dataworks。進入https://workbench.data.aliyun.com/console#/projectlist即可進行刪除。刪除DataWorks空間後,Maxcompute也會被刪除。

相關文章