專案owner看這裡,MaxCompute全表掃描新功能,給你“失誤”的機會
隨著社會資料收集手段的不斷豐富及完善,越來越多的行業資料被積累下來。資料規模已經增長到了傳統軟體行業無法承載的海量資料,達到百GB、TB乃至PB級別。
在分析海量資料場景下,由於單臺伺服器的處理能力限制,資料分析者通常採用分散式計算模式。但分散式的計算模型對資料分析人員提出了較高的要求,且不易維護。使用分散式模型,資料分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。
MaxCompute的目的是為使用者提供一種便捷的分析處理海量資料的能力,owner可以不必關心分散式計算細節,便可達到分析大資料的目的,這樣一是減輕專案負責人的工作負擔,也同時降低了企業對海量資料處理的專業人才成本。
在使用過程中,我們發現使用者經常遇到這樣的問題,如果一不小心寫錯了sql,對全表做了掃描,不僅影響效率還會對成本造成損失,因為對全表資料掃描是費用比較高的。
現在,MaxCompute釋出了“ALIAS 命令”,提供了在不修改程式碼的前提下,在MapReduce或自定義函式(UDF) 程式碼中,透過某個固定的資源名讀取不同資源(資料)的需求。
其實通俗的來講就是允許專案owner對專案進行設定,可以透過允許或不允許來保障這個專案不被做全表掃描,可以節約成本,避免了初次使用MaxCompute的使用者或者誤操作而對全表做了掃描影響效率和成本發生。如果確實需要對全表掃描,可以把屬性這裡改為true,完成使用者需要的全表掃描的操作。
具體操作如下:
以開關的形式,透過設定允許或禁止全表掃描。true為允許,false為禁止 專案級別控制:setproject odps.sql.allow.fullscan=false/true Session級別控制:set odps.sql.allow.fullscan=false/true
總體來說該功能對於專案owner來說,不僅可以避免資源浪費、控制計算成本,還能靈活應開啟全表掃描分割槽表。
具體操作詳情請戳這裡:
https://help.aliyun.com/document_detail/27834.html
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2212956/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 全表掃描和全索引掃描索引
- MySQL中的全表掃描和索引樹掃描MySql索引
- 全表掃描和全索引掃描繼續(PG-TiDB)索引TiDB
- 操作失誤不要慌,這個命令給你的Git一次反悔的機會Git
- oracle是如何進行全表掃描的Oracle
- 24_Oracle資料庫全表掃描詳解(四)_全表掃描生產最佳化案例三則Oracle資料庫
- 使用ScanCode掃描開源專案的license
- [20210220]全索引掃描快速索引掃描的邏輯讀.txt索引
- [20210219]全表掃描邏輯讀問題.txt
- 手機怎麼掃描檔案?
- 掃描王 for Mac專業圖片掃描工具Mac
- PostgreSQL DBA(55) - MVCC#8(對全表掃描的影響)SQLMVCC#
- 使用 KRAWL 掃描 Kubernetes 錯誤
- 從燃盡圖看專案管理:你的專案哪裡出錯了?(燃盡圖型別全解析)專案管理型別
- SonarQube學習(三)- 專案程式碼掃描
- 索引掃描可能不如全表掃描的場景的理解__純粹資料量而言,不涉及CLUSTERING_FACTOR索引
- 利用 SonarScanner 靜態掃描 Rainbond 上的 Maven 專案AIMaven
- 關係型資料庫全表掃描分片詳解資料庫
- 23_Oracle資料庫全表掃描詳解(三)Oracle資料庫
- 22_Oracle資料庫全表掃描詳解(二)Oracle資料庫
- 21_Oracle資料庫全表掃描詳解(一)Oracle資料庫
- [20190815]索引快速全掃描的成本.txt索引
- 怎麼解決因全表掃描帶來的 Buffer Pool 汙染
- 電腦掃描檔案怎麼掃描 win10電腦掃描檔案方法介紹Win10
- 印表機掃描檔案到電腦怎麼操作 印表機怎麼掃描檔案成電子版
- 怎麼用印表機掃描檔案到電腦 印表機怎麼掃描檔案成電子版
- win10印表機怎麼掃描 win10印表機掃描檔案到電腦Win10
- SELECT COUNT(*) 會造成全表掃描?回去等通知吧
- 專案的升級-給RemoveButterKnife外掛增加新功能REM
- 命令列不會?看這裡命令列
- 你在尋找Vue3移動端專案框架嘛?請看這裡Vue框架
- 合作商平臺-專案的全量更新功能
- 不知道CC防護的看這裡,這種方式你必須學會!
- 掃描器的存在、奧普 掃描器
- 【TUNE_ORACLE】列出NL(NESTED LOOPS)被驅動表走了全表掃描的SQL參考OracleOOPSQL
- 如何掃描和修復 Linux 磁碟錯誤Linux
- 主機安全掃描工具-- vuls
- 2019年ChinaJoy全掃描:約3成遊戲廠商缺席展會遊戲