MaxCompute問答整理之10月
本文是基於本人對MaxCompute產品的學習進度,再結合開發者社群裡面的一些問題,進而整理成文。希望對大家有所幫助。
問題一、DataStudio中是否可以透過shell節點調取MaxCompute sql語句?
不可以的,Shell節點支援標準Shell語法,不支援互動性語法。如果任務較多,可以使用ODPS SQL節點來完成任務的執行。關於DataStudio的其他介紹請參考官方文件:
https://
help.aliyun.com/documen
t_detail/74423.html
問題二、MaxCompute支援修改表欄位的資料型別嗎?
不支援,只能新增欄位列,生產表不允許刪除欄位、修改欄位及分割槽欄位,如果必須修改,請刪除之後重新建表,可以將表建立成外部表,在表刪除重建以後,能將資料重新載入回來。
資料型別請參考官方文件:
https://
help.aliyun.com/documen
t_detail/27821.html
問題三、MaxCompute除了UDF函式的方式外,有沒有別的辦法將兩個沒有任何關聯關係的表合併成一張表呢?
可以縱向合併使用union all,橫向合併的話可以藉助row number,兩張表都新加一個新的ID列,進行ID關聯,然後取兩張表的欄位。
問題四、現有賬號的AK禁用,建立一個新的AK,會對之前AK建立的週期性任務有影響嗎?
有的,如果AccessKey被禁用或刪除,將直接影響您的DataWorks中各類任務的正常執行。
AK資訊謹慎操作。其餘AK操作請參考官方文件:
https://
help.aliyun.com/documen
t_detail/27803.html
問題五、在Java-sdk連線的情況下,如果Endpoint用的
http://
service.cn.maxcompute.aliyun.com
/api
,如果我沒有顯式配置Tunnel Endpoint,用到TunnelServer時會路由到哪個Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel會自動路由到Service Endpoint所在網路對應的Tunnel Endpoint,例如Service Endpoint為公網就路由到公網的Tunnel Endpoint;Service Endpoint為內網就路由到內網的Tunnel Endpoint。若您繼續手動配置,則以手動配置為準,不進行自動路由。具體可以參考官方文件:
https://
help.aliyun.com/documen
t_detail/34951.html
問題六、請問Tunnel可以上傳json格式的資料到MaxCompute表嗎?
可以把json檔案作為一個整體的欄位來進行上傳,然後在MaxCompute進行拆分,或者利用MaxCompute內建函式及UDTF轉換json格式日誌資料。可以參考這個文件 :
https://
yq.aliyun.com/articles/
627758
問題七、如何正確安裝MaxCompute客戶端?
1、根據自身系統安裝匹配JDK(建議1.7/1.8)並配置環境;
2、官網文件下載最新版客戶端檔案並解壓;
3、根據開通好的工作空間配置config檔案;
4、根據自身系統選擇執行檔案(bin檔案內);
5、執行測試建表語句:create table tbll(id bigint)。
安裝及配置客戶端過程中,可能會出現錯誤,請參考官方文件解決:
https://
help.aliyun.com/documen
t_detail/142260.html
問題八、MaxCompute支援將2010/1/3這種格式轉成 2010-01-03嗎?
如果是2010/01/03這種格式的話可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去進行轉換,
如果是2010/1/3就需要去編寫UDF函式去實現日期的轉換。
更多日期函式請參考官方文件:
https://
help.aliyun.com/documen
t_detail/48974.html
問題九、使用OSS外部表怎麼樣將多個小檔案,輸出為一個檔案?
檢視Logview日誌,看SQL的執行計劃,看最後一個是Reducer還是Joiner,
如果是Reducer則設定引數為set odps.stage.reducer.num=1,
如果是Joiner,則設定為set odps.stage.joiner.num=1。
問題十、DataWorks業務流程中,根據業務需求進行節點連線之後自動解析上下游是否會發生錯誤?
不會,在排程系統中,每一個工作空間中預設會建立一個projectname_root節點作為根節點。如果本節點沒有上游節點,可以直接依賴根節點。依賴屬性中配置節點的上游依賴,表示即使當前節點的例項已經到定時時間,也必須等待上游節點的例項執行完畢,才會觸發執行。
本文為雲棲社群原創內容,未經允許不得轉載。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69949601/viewspace-2663918/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Rust 問答之什麼是 rustcRust
- Rust 問答之關鍵字 fnRust
- Rust 問答之 Cargo 是什麼RustCargo
- Rust 問答之 TOML 是什麼RustTOML
- 有問有答之 crate 是什麼
- MaxCompute計費常見問題
- 口碑營銷之網路問答營銷
- Rust 有問有答之 use 關鍵字Rust
- Rust 有問有答之 crate 是什麼Rust
- 社群問答精選|ChatGPT for SegmentFault 十問十答ChatGPT
- MaxCompute Tunnel上傳典型問題場景
- 提問與問答技巧
- 基礎問答
- 問答專案
- Rust 問答之從 HelloWorld 中可以學到什麼Rust
- Rust 問答之 println!巨集都有哪些格式化列印Rust
- MaxCompute/DataWorks許可權問題排查建議
- Web 面試問答Web面試
- Rust 問答之如何獲取 main 函式的引數RustAI函式
- 老牌問答網站“雅虎問答”近日宣佈正式關站NRE網站
- Java資深工程師面試之chatGPT自問自答版Java工程師面試ChatGPT
- 1230-詩詞問答
- 新書問答:Lost and Founder新書
- MaxCompute studio FAQ
- 有問有答,全能社群由你來建!TensorFlow 問答版塊怎麼玩?
- 問答營銷怎麼做?問答網路推廣的平臺和形式
- Java面試之Java基礎問題答案口述整理Java面試
- NLP教程(7) - 問答系統
- 關於webpack問答記錄...Web
- ERP基礎知識問答
- 搭建智慧問答機器人機器人
- 你問我答:容器篇(1)
- Apache Hive 面試問答題ApacheHive面試
- 問答方式學 Node.jsNode.js
- 「火鍋問答」是啥?面向自然語言和多步推理問題,新型問答資料集HotpotQA面世
- 什麼是 MaxCompute
- Docker問題整理Docker
- vue之this.$router.push頁面重新整理問題Vue