AI現狀 人才短缺成為障礙

視覺計算發表於2020-06-11

去年,我們感覺到大家對AI的興趣已經接近狂熱,所以我們就AI應用發起調查。調查完成之後我們分析結果,認為AI行業處在快速變化的階段,所以我們又發起一次調查,想搞清眼下AI主要應用於哪些行業。

調查花了幾周時間,收到 1388 份回應報告。最新的調查告訴我們在企業領域 AI 應用到了怎樣的程度(已經從原型向生產階段過渡),調查還涉及具體技術和工具的流行程度,應用者面臨怎樣的挑戰,以及其它一些問題。

下面讓我們總結一下:

關鍵調查結果:

——約有 85% 的受訪機構聲稱它們正在評估 AI,或者將 AI 應用於生產。只有 15% 的機構在 AI 方面沒有采取任何行動。

——超過一半的受訪機構是“AI 技術成熟的應用者”,換言之,它們正在用 AI 完成分析、生產任務。

——在成熟 AI 應用者中,監督式學習是最流行的機器學習技術,在那些仍在評估AI的機構中,機器學習是最流行的技術。

——在 AI 應用時,缺少機器學習和 AI 技能並不是最大障礙。22% 的受訪者認為,缺少制度支援是最大問題。

——只有很少的企業用正式治理控制手段為自己的 AI 活動提供支援。

AI 仍然在發展。有許多企業正在評估 AI,用 AI 做實驗,不過在應用時,主要用於“生產部署”(production deployments)。這種發展仍然處在初期階段,企業還要做很多工作才能讓 AI 變得更堅固。不論怎樣,應用者為了打造穩定的 AI 生產線,還有一大堆工作要做。

AI現狀 人才短缺成為障礙

受訪者分佈

受訪者代表所在機構和企業接受調查,他們來自 25 個行業,來自軟體行業的受訪者佔 17%。從受訪樣本看,“科技行業”所佔的比重並不是很高,“計算機、電子、硬體”也屬於科技行業的重要板塊,它只佔了樣本的7%還不到。至於“其它”類別,它包括 12 個行業,佔受訪者的22%。

AI現狀 人才短缺成為障礙

資料科學家佔主導,企業高管具有代表性

大約六分之一的受訪者是資料科學家,高管(比如主管、副總裁、CxO)佔了樣本的 26%。從調檢視,受訪者的確嚴重偏向資料,有 30% 的受訪者是資料科學家、資料工程師、AIOps 工程師,或者是管理他們的人。大約四分之三的受訪者宣稱自己從事的工作與資料有關。在所有受訪者中,超過 70% 從事科技類工作。

地區分佈

約有 50% 的受訪者來自北美,其中大多來自美國,美國受訪者佔了 40%。然後是西歐受訪者,佔了 23%,亞洲佔 15%。南美、東歐、大洋洲、非洲佔 15%。

AI現狀 人才短缺成為障礙

分析:今天的 AI 應用現狀

在受訪者代表的機構中,超過一半在 AI 應用方面已經進入“成熟”階段,也就是用 AI 分析、生產,還有大約三分之一正在評估。再看去年的 AI 調查結果,54% 的受訪機構聲稱在評估 AI,只有 27% 進入“成熟”階段。在 2020 年的調查中,只有 15% 的受訪機構沒有設立任何 AI 專案。

約有 85% 的機構正在使用 AI,當中大多用於生產,這是一個值得關注的亮點。似乎 2019 年制定的實驗性 AI 專案今年開始開花結果。

AI 主要用在哪裡呢?約有一半受訪者說他們用在研發領域,排名第二的是IT,有三分之一的受訪者選擇(請注意,這裡可以多選)。

在選項中有兩個屬於企業的“功能部門”,也就是“營銷/廣告/PR”和“運營/設施/車隊管理”,每個都有大約 20% 的受訪者選擇。由此可以看出,受訪機構看到了 AI 在功能部門的價值。

AI現狀 人才短缺成為障礙

採用 AI 面臨的挑戰

在大多機構內,獲得並保留 AI 特殊技能仍然是 AI 應用的一大障礙。今年,約有超過六分之一的受訪者聲稱招募並留下 AI 人才是 AI 應用的一大障礙。2019 年,大約只有 18% 的受訪者這樣認為。

AI現狀 人才短缺成為障礙

但是缺少高技能人才並不是最大障礙。2020 年,大約 22% 的受訪者認為缺少機構支援才是最大問題,2019 年也有很多人這樣認為。2019 年和 2020 年,在 AI 應用的各大障礙中,“缺少高技能人才、很難招到必要人才”排在第三位;“難以確認合適的商務用例”排在第二位,約有 20% 的受訪者選擇。

AI現狀 人才短缺成為障礙

AI/ML 技能短缺

我們還問調查者:在他們的機構中,哪些機器學習(ML)和 AI 技能最欠缺。58% 的受訪者認為最欠缺 ML 模型師、資料科學家,選擇的人最多。理解及維護一系列商務用例排在第二位,約有一半人選擇。還有 40% 的受訪者選擇“在資料工程領域缺少必要技能”。最後,還有約四分之一的人選擇“機構缺少計算基礎設施技能”。

這項調查有一個地方很有趣:2020 年的結果和 2019 年驚人相似。2019 年的問題到了 2020 年仍然是問題,比例也基本一樣。2019 年,57% 的受訪者選擇“缺少機器學習建模和資料科學專家”,今年的比例是 58%。這些技能都是機構必需的,而且不太容易解決。例如,資料科學家是“混合物種”,不但要掌握精深的理論、技術知識,還要具備面向特定領域的實際商業知識。

可惜,很多資料科學家缺少實踐,所以機構只能在工作中對新晉資料科學家培訓。正因如此,才會有那麼多受訪者認為:嚴重缺少理解和維護特定商務用例的人才是一大問題,2019 年有 47% 的受訪者選擇,今年上升到 49%。資料科學家利用自己掌握的特定專業知識為AI 找到適合的商務用例。機器學習建模師在實踐中積累知識,然後用這些特定商業知識補充技術知識。這兩種型別的從業者都需要提升軟技能,在團隊工作、傾聽、移情過程中提升。提升需要時間,也是經驗的結果。

AI現狀 人才短缺成為障礙

管理 AI/ML 風險

我們還問了受訪者這樣一個問題:當你們搭建部署 ML模型時有哪些風險需要控制(多選)?調查結果顯示,所有機構(尤其是 AI 專案處於“成熟”階段的機構)全都認為應該警惕設計使用 ML/AI 技術的內在風險。

在“成熟”機構中,大約有三分之二的人選擇“意料之外的結果/預測”,這是最大的單一風險因素。在“成熟”機構中,排名第二的單一風險因素是“對 ML 模型的可解釋性和透明度進行控制”,約有 55% 的人選擇;至於“正在評估”的機構,公平、偏見和道德風險排在第二位,有 40% 的人選擇。在“成熟”機構眼中,公平、偏見和道德風險排在第三位,有 48% 的受訪者選擇。與正在評估的企業相比,“成熟”機構更願意對模型退化進行檢查,所以在“成熟”機構中,AI 模型退化是是第四大風險因素(約 46% 的人選擇)。

在調查時給出的選項有 9 個,因為是多選,受訪者可以全部選擇。我們發現,41% 的受訪者至少選擇了 4個,61% 的受訪者至少選擇 3 個。

AI現狀 人才短缺成為障礙

監督式學習成主導、深度學習持續升溫

在所有 AI 應用者中,監督式學習技術仍然是最流行的 ML 技術。2019 年,超過 80% 的成熟應用者已經使用這種技術,當時約有三分之二的受訪機構還處在評估階段。到了 2020 年,約有 73% 的成熟 AI 活動已經使用監督式學習技術。

有一點需要注意,2020 年,對於那些處於評估階段的機構來說,深度學習技術已經取代監督式學習技術成為最流行的技術。資料可以說明一切:對於正在評估 AI 的機構,有 55% 聲稱他們正在使用深度學習技術,有 54% 聲稱正在使用監督式學習技術(多選)。對於成熟的 AI 應用者,約有 66% 的受訪者聲稱他們正在使用深度學習技術,排在第二位,排在第一的是監督式學習技術。

與正在評估的組織相比,在成熟接受者中,ML 或者 AI 技術的使用率更高。換言之,二者有著很大的區別。例如,在成熟接受者中,大約 23% 的 AI 活動用到了遷移學習(Transfer learning)技術,而評估者只有 12%。另外,在成熟者中機迴圈(Human-in-the-Loop)AI 模型更加流行。

在工作中選擇什麼工具呢?78% 的受訪者選擇至少 2 種 ML 技術,59% 選擇至少 3 種,39% 至少選擇 4種。

AI現狀 人才短缺成為障礙

主導性工具越來越重要

在 AI 工作中,TensorFlow 仍然是最流行的工具。2019 年和 2020 年,大約 55% 的受訪者選擇了它,比重保持不變。TensorFlow 地位穩固還告訴我們一個事實:深度學習、神經網路越來越流行。

2019 年最流行的 AI 開發工具到了 2020 年仍在流行。在最流行的 5 種 AI 工具中,有 4 種要麼以Python 作為基礎,要麼以 Python 作為主導。TensorFlow、Scikit-learn 和 Keras 保持穩定,PyTorch 份額增長,達到 36%。

資料治理還不是當務之急

有超過五分之一的受訪機構宣稱,它們引入了正式資料治理流程和(或)工具,用來支援或者補充AI專案。

26% 的受訪者回應稱會在2021 年之前引入正式資料治理流程和(或)工具,35% 預計會在未來3年引進,這是好訊息。也有壞訊息,AI 接受者認為資料治理只是補充,並非基本要素。

資料溯源(Data provenance)、資料沿襲 ( data lineage ) 、一致性資料定義、豐富的後設資料管理及其它良好的資料治理技術將會融入 AI 專案,並非疊加在 AI 專案之上。

我們可以將資料治理看成是軟體開發過程中的“可觀察性”(observability)部分:翻新已有系統讓它具備可觀察性是很難的,將可觀察能力植入系統倒是容易一些。同樣的,為系統或者服務建立資料治理能力容易一些,事後新增難一些。

要點彙總

回看調查報告我們總結一些要點,機構在推進AI專案時可以參考:

——如果沒有制定計劃對AI進行評估,那你是時候迎頭趕上了。現在市場上有很多開源工具、庫、教程及其它,還有平易近人的通用語言(比如Python),進入 AI 的門檻大大降低。大多企業都在用 AI 做實驗,落後是有風險的。

——AI 專案與軟體架構、基礎設施、運營的主導趨勢保持一致。

——你可以從更宏觀的角度考慮:到處都在使用 AI,不限於研發和 IT。在調查中,許多受訪者聲稱他們在客戶服務、營銷、運營、財務及其它領域使用 AI。

——要對組織進行培育,不能只是訓練模型。在 AI 應用過程中,制度支援仍然是最大的障礙。如果你覺得 AI 能帶來助益,那就應該花點時間解釋關鍵問題,比如如何保持期待、為什麼可以期待、有何期待。

——在 AI 執行過程中會有風險存在,現在我們對風險有了更好的理解。當我們向高管、利益相關方解釋,告訴他們執行 AI 專案時有何期待,解釋起來會更容易一些。

總結

很明顯,AI 正在變得成熟起來,雖然許多用例看起來很原始,但它仍然一天一天變得成熟。應用者正在採取積極措施控制常見風險。不論是成熟還是不成熟的應用者,它們都在用複雜技術做實驗,開發自己的 AI 產品和服務。應用者使用多種 ML 和 AI 工具,但使用的語言基本只有一種,也就是廣泛流行的 Python。如果想擴大 AI 實踐規模,企業還有幾件事要做:解決資料治理和資料調理問題。

原文連結:https://developer.aliyun.com/article/764536?spm=a2c6h.12873581.0.dArticle764536.603a66e35ETgGf&groupCode=aliyunmit


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956605/viewspace-2697760/,如需轉載,請註明出處,否則將追究法律責任。

相關文章