MaxCompute問答整理之10月

芊寶寶最可愛發表於2019-11-13

本文是基於本人對MaxCompute產品的學習進度,再結合開發者社群裡面的一些問題,進而整理成文。希望對大家有所幫助。

問題一、DataStudio中是否可以透過shell節點調取MaxCompute sql語句?
不可以的,Shell節點支援標準Shell語法,不支援互動性語法。如果任務較多,可以使用ODPS SQL節點來完成任務的執行。關於DataStudio的其他介紹請參考官方文件:  help.aliyun.com/documen

問題二、MaxCompute支援修改表欄位的資料型別嗎?
不支援,只能新增欄位列,生產表不允許刪除欄位、修改欄位及分割槽欄位,如果必須修改,請刪除之後重新建表,可以將表建立成外部表,在表刪除重建以後,能將資料重新載入回來。
資料型別請參考官方文件: help.aliyun.com/documen

問題三、MaxCompute除了UDF函式的方式外,有沒有別的辦法將兩個沒有任何關聯關係的表合併成一張表呢?
可以縱向合併使用union all,橫向合併的話可以藉助row number,兩張表都新加一個新的ID列,進行ID關聯,然後取兩張表的欄位。

問題四、現有賬號的AK禁用,建立一個新的AK,會對之前AK建立的週期性任務有影響嗎?
有的,如果AccessKey被禁用或刪除,將直接影響您的DataWorks中各類任務的正常執行。
AK資訊謹慎操作。其餘AK操作請參考官方文件: help.aliyun.com/documen

問題五、在Java-sdk連線的情況下,如果Endpoint用的  service.cn.maxcompute.aliyun.com ,如果我沒有顯式配置Tunnel Endpoint,用到TunnelServer時會路由到哪個Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel會自動路由到Service Endpoint所在網路對應的Tunnel Endpoint,例如Service Endpoint為公網就路由到公網的Tunnel Endpoint;Service Endpoint為內網就路由到內網的Tunnel Endpoint。若您繼續手動配置,則以手動配置為準,不進行自動路由。具體可以參考官方文件: help.aliyun.com/documen

問題六、請問Tunnel可以上傳json格式的資料到MaxCompute表嗎?
可以把json檔案作為一個整體的欄位來進行上傳,然後在MaxCompute進行拆分,或者利用MaxCompute內建函式及UDTF轉換json格式日誌資料。可以參考這個文件 : yq.aliyun.com/articles/

問題七、如何正確安裝MaxCompute客戶端?
1、根據自身系統安裝匹配JDK(建議1.7/1.8)並配置環境;
2、官網文件下載最新版客戶端檔案並解壓;
3、根據開通好的工作空間配置config檔案;
4、根據自身系統選擇執行檔案(bin檔案內);
5、執行測試建表語句:create table tbll(id bigint)。
安裝及配置客戶端過程中,可能會出現錯誤,請參考官方文件解決:
help.aliyun.com/documen

問題八、MaxCompute支援將2010/1/3這種格式轉成 2010-01-03嗎?
如果是2010/01/03這種格式的話可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去進行轉換,
如果是2010/1/3就需要去編寫UDF函式去實現日期的轉換。
更多日期函式請參考官方文件: help.aliyun.com/documen

問題九、使用OSS外部表怎麼樣將多個小檔案,輸出為一個檔案?
檢視Logview日誌,看SQL的執行計劃,看最後一個是Reducer還是Joiner,
如果是Reducer則設定引數為set odps.stage.reducer.num=1,
如果是Joiner,則設定為set odps.stage.joiner.num=1。

問題十、DataWorks業務流程中,根據業務需求進行節點連線之後自動解析上下游是否會發生錯誤?
不會,在排程系統中,每一個工作空間中預設會建立一個projectname_root節點作為根節點。如果本節點沒有上游節點,可以直接依賴根節點。依賴屬性中配置節點的上游依賴,表示即使當前節點的例項已經到定時時間,也必須等待上游節點的例項執行完畢,才會觸發執行。

原文連結

本文為雲棲社群原創內容,未經允許不得轉載。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69949601/viewspace-2663918/,如需轉載,請註明出處,否則將追究法律責任。

相關文章