“新基建”方興未艾,資料探勘如何為產業數字化轉型賦能?

思邁特Smartbi發表於2020-11-17

​111.webp.jpg

如今,我們的生活、工作已經全面進入數字化的時代,數字經濟是中國未來發展的新動能。傳統經濟發展離不開公路、鐵路、機場等“鐵公基”的建設,數字經濟同樣也離不開新型基礎設施建設,我們稱之為“新基建”。

在“新基建”覆蓋的七大領域中,5G基站建設、大資料中心、人工智慧、工業網際網路都是數字經濟的基礎設施,與各行各業息息相關。

新能源充電樁、特高壓、高鐵/軌交雖然不是基礎設施,但他們是“新基建”投資的重點行業,其發展也離不開數字經濟。

“新基建”不僅可以直接拉到經濟,更重要的是助力數字經濟。“新基建”可以對傳統產業進行全面的基礎改造,推動產業結構優化升級;還可以促進資訊科技的市場化應用,推動數字產業形成和發展。

數字經濟背景下,所有的數字化基於資料進行,資料是“新基建”的核心:5G提供資料通訊網路,大資料中心提供資料管理和算力,人工智慧提供資料應用手段,工業網際網路和新能源充電樁等提供資料應用場景。

同時,資料也是一座寶藏,蘊含著巨大的價值,充分利用可以推動產業的數字化轉型。

如果說5G和大資料中心是數字化的“硬體”,那麼,人工智慧就是數字化的“軟體”。

人工智慧基礎設施建設將帶動機器學習、計算機視覺、自然語言處理等技術不斷進步,促進智慧醫療、智慧交通、 智慧金融等產業快速發展。

◆ 資料探勘是開啟資料寶藏的鑰匙

人工智慧有一個重要的應用:資料探勘。作為近年來新興的一門計算機邊緣學科,其在國內外引起了越來越多的關注。

並且隨著資料探勘技術的不斷改進和資料探勘工具的不斷完善,資料探勘必將在各行各業中得到廣泛的應用。

資料探勘是從大量的資料中通過演算法發現有價值資訊的過程,這項以資料庫技術、統計分析、人工智慧等為依託的技術出現有其必然性和可行性。

首先,數字經濟的到來對資料的處理和利用提出了更高的要求,而傳統的資料處理方法對大量資料無從下手,必然要求有更為先進的資料處理技術。

其次,大資料和雲端計算技術的不斷髮展,使得藉助計算機來完成大量資料的處理和分析成為可能。

在智慧城市領域,數字技術把基礎地理資料、正射影像、街景影像資料、全景影像資料、三維模型資料結合在一起,這產生了大量的地圖資料,而在智慧城市的建設和應用中,將產生從TB到PB級越來越多的資料,從而進入大資料時代。

而對於這些大資料來說,傳統的資料分析工作已經不適合對其進行合理的分析,導致了一種“資料爆炸但知識貧乏”的現象。

目前在智慧城市的智慧交通,智慧國土等應用中的資料庫系統主要侷限於實現資料的錄入、查詢、統計等功能,但無法有效地發現資料中存在的關係和規則,很難把握資料背後隱藏的知識,無法根據現有的資料預測未來的趨勢。

這在一定程度上阻礙了智慧城市的應用與普及。而資料探勘技術恰恰是解決這一難題的最佳方法。

應用資料探勘技術,可以從GIS資料庫中發現更多的地理知識和地理規律、對專題資料進行有效、合理的分析,從而達到城市的智慧執行、政府的科學決策、公眾的便捷生活及企業的高效運營。

在銀行業,資料探勘同樣有很多的應用場景,其中一個就是風險管理,如信用風險評估。可通過構建信用評級模型,評估貸款申請人或信用卡申請人的風險。

一個進行信用風險評估的解決方案,能對銀行資料庫中所有的賬戶指定信用評級標準,用若干資料庫查詢就可以得出信用風險的列表。

這種對於高/低風險的評級或分類,是基於每個客戶的賬戶特徵,如尚未償還的貸款、信用調降報告歷史記錄、賬戶型別、收入水平及其他資訊等。

對於銀行賬戶的信用評估,可採用直觀量化的評分技術。將顧客的海量資訊資料以某種權重加以衡量,針對各種目標給出量化的評分。

以信用評分為例,通過由資料探勘模型確定的權重,來給每項申請的各指標打分,加總得到該申請人的信用評分情況。銀行根據信用評分來決定是否接受申請,確定信用額度。

過去,信用評分的工作由銀行信貸員完成,只考慮幾個經過測試的變數,如就業情況、收入、年齡、資產、負債等。現在應用資料探勘的方法,可以增加更多的變數,提高模型的精度,滿足信用評價的需求。

毫無疑問,資料探勘是開啟資料寶藏的一把鑰匙,但是其普及推廣還是難度很大。

主要原因是資料探勘的技術門檻過高,涉及到機器學習、模型演算法、python等很多專業的技術,一般的IT人員很難掌握。雖然市場上也有一些專業的平臺軟體,但它們的易用性還是不夠,學習起來有一定的難度。所以,一款簡單易用的視覺化資料探勘平臺就顯得非常重要。

由思邁特軟體出品的Smartbi Mining操作起來非常簡單,建模、訓練、部署等都是在一個介面完成。業務人員可以參與,整個過程很直觀。

裡面有很多內建的模型演算法,模型引數也是預設調整到最優狀態,大大降低了使用門檻。而且,系統隨時可以擴充套件,處理海量資料也不會出現問題。

◆ 資料探勘的應用實踐

資料探勘專案成功,除了有成熟、易用的產品,更重要是要有專業的諮詢與實施團隊。思邁特軟體有豐富的資料探勘實踐經驗,在不同的行業有很多成功的案例。

案例1:新冠病毒感染臨床診斷

在疫情爆發期間,新型冠狀病毒主要是以核酸檢測陽性為診斷標準。但是,核酸檢測效率低,並且不能保證100%準確。

通過醫生臨床診斷也能識別出新冠病毒感染者,但需要醫生具備豐富的臨床診斷經驗。

那麼,如何在短期內讓一般的醫生也具有豐富的經驗,將對疫情的快速防控起到重要作用。

這個時候,思邁特軟體基於Smartbi Mining開發的“新冠病毒感染臨床診斷系統”就派上用場了。

系統利用人工智慧機器學習演算法,學習訓練資深醫生的臨床診斷經驗,訓練完成具有高準確率的新冠病毒感染識別模型,輔助醫生快速進行臨床診斷。

在發生類似的緊急公共衛生事件時,能夠為快速診斷、快速隔離、快速治療病患贏得時間,降低病毒傳播速度及病患的死亡率。

系統能夠快速地訓練完成新冠病毒感染診斷識別模型,具備對資料接入、資料處理、模型訓練、模型評估、模型部署等整個過程的成熟支撐。

系統依靠的資料包括流行病學史調查資料、病人臨床表現資料以及一些實驗室檢查資料,並直接使用這些特徵作為訓練模型的特徵資料。

將載入的特徵資料按照7:3的比例拆分,70%作為訓練模型資料,30%作為測試驗證模型資料,選擇分類模型中的邏輯迴歸演算法、梯度提升決策樹,進行診斷模型訓練。

使用拆分的30%的資料進行模型驗證,驗證訓練後的診斷模型對新資料的預測能力。

案例2:銀行企業違約風險預警

銀行的“企業違約風險預警”專案,依據對公客戶結算行為,包括交易頻率、交易金額、交易對手等資訊作為重要基礎資訊,結合客戶行業、規模、經營狀況刻畫客戶畫像。

利用Smartbi Mining提供的邏輯迴歸模型搭建客戶逾期、違約預警。在模型成熟後,利用CRM系統打通客戶經理通知渠道,及時向客戶經理推送預警資料,做好風險管理。

案例3:保險客戶精準營銷

在Smartbi Mining裡面,首先通過資料來源選取準備營銷的客戶,再基於配置好的條件對客戶進行細分。

這些操作通過拖動相應的功能圖示,再進行簡單的引數配置就可以實現。接下來就是根據不同的客群進行不同的內容溝通,需要結合客戶的歷史資料通過模型演算法來計算,再往下要判斷客戶有沒有在簡訊裡面點過什麼連結,或者留下什麼資訊,這些資料返回以後下面的節點會做出判斷,然後自動去跟蹤營銷的執行結果。

除了前面提到的案例,資料探勘還能應用到智慧交通、智慧環保、智慧安防、智慧能源等等諸多領域,應用範圍十分廣泛。隨著“新基建”的不斷落實,產業數字化轉型的不斷推進,未來資料探勘將會有更多的應用場景和需求,讓資料為我們的生活、工作創造出更大的價值。

思邁特軟體也將緊跟技術發展趨勢,不斷打磨資料探勘產品,為國家的數字經濟發展貢獻自己的一份力量。

相關文章