資料升維深挖資訊價值,神經網路賦能AI決策

鐳射財經發表於2022-06-13

人類對人工智慧的想象和探索,從未止步。

隨著資料、演算法、算力能力提升,人工智慧的應用場景深入到生活的方方面面。我們在搜尋引擎上輸入關鍵詞後,網頁會自動匹配相關搜尋內容;短視訊App能根據我們的瀏覽習慣,推送相似的博主和場景;對著智慧手機等移動終端喊話,便能呼叫相關功能,實現人機互動。

以人工智慧為代表的數字化產業快速向前推進,產業數字化轉型也成為不可逆的趨勢,各行各業都在尋求與自身商業模式相匹配的AI大腦。AI決策能力,正是AI大腦的核心,它決定了AI解決方案的效率和可執行性。

資料升維深挖資訊價值,神經網路賦能AI決策

AI決策由模型效能決定,而模型效能的好壞,離不開人工智慧三駕馬車的拉動——資料、演算法、算力。其中,資料在模型搭建過程中起基礎性作用,一個模型的優劣,百分之八十取決於資料和樣本的維度,正如巧婦難為無米之炊。

因此,資料提升對於模型優化有著基礎性、全域性性的作用,而資料與模型也是AI系統的重要組成部分。目前,AI模型開發及應用難點,主要在於資料應用和演算法創新上,其中,後者更多體現的是建模方法的適當性。

資料應用維度不足。從AI決策的模型發展現狀來看,當前很多模型僅僅是基於二維的資料組織形式來構建,沒有考慮到資料在完整週期中的時間節點變化。最終容易導致模型的辨識度、準確度、穩定性失衡,AI決策效果大打折扣。

例如,在視訊推薦和電商推薦場景中,如果模型僅是在使用者賬戶、行為屬性、社交記錄、交易結果等標準資料集上構建和優化,沒有納入使用者在決策過程中的重要時間節點下的行為表現,可能就會使模型效果過於擬合,不能夠精準地預判使用者喜好以及交易風險控制。

一般來講,二維資料的維度主要表現為樣本維度和特徵維度。樣本維度常常為使用者ID資訊或者是訂單編號,特徵維度則為使用者人口屬性、行為屬性、外部資信等資訊。二維資料模式下,使用者在每個時間點只對應一條變數。

回到實際業務場景,使用者在不同的時間節點會呈現不同的行為表現,儘管這些表現強度存在差異化,但最終會反饋到行為特徵上。如果把不同時間節點的使用者特徵行為差異,儘可能納入建模過程,那麼原有的一對一二維資料就延展至一對多的時間序列形式,也就是說把資料應用升維到樣本維度、時間維度、特徵維度的三維資料組織形式。

三維資料不僅能降低資料集特徵不足的影響,而且能最大程度挖掘資料價值,增加特徵數量,提升模型準確性。尤其是在業務資料獲取時,外部資信等資料往往會遇到接入不確定因素,而內部資料數量和型別有限,並且利用程度趨於飽和。

但對於模型開發而言,更高的精準度和辨識度,要求引入更多維度的資料,挖掘資料規律,生成更多衍生變數。一旦無法從數量維度獲取更多變數,那麼只能從質量角度下功夫,向深度挖掘變數內部資訊,其中一對多的時間序列角度的升維就是深挖資料資訊的方法之一。

其實,資料升維可用於AI模型優化的場景非常多,例如在股票、基金的智慧投顧業務中,AI模型的資料應用加入時間維度,與樣本維度和個股、個基一起構成三維樣本,便能把節點變數考慮在內,更加精準預判未來走勢。

要想通過高維時序資料實現模型優化,僅停留在資料層面遠遠不夠,還需對演算法提升。決定模型好壞的剩下20%,正是建模方法的選擇,而與高維時序資料處理相匹配的演算法通常為基於神經網路演算法的深度學習。

以薩摩耶云為例,薩摩耶雲基於深度學習框架,探索資料升維用於模型效能的提升,研發出適用於多行業和場景的AI解決方案,滿足企業高效智慧決策的需求。同時,這些端到端的雲原生科技解決方案,以SaaS+aPaaS形式提供交付,通過雙方系統對接實現資訊實時互動,能為合作伙伴輸出基於雲的智慧決策服務。

薩摩耶雲首席科學家王明明談到,更高維度的時序資料建模意味著對現有的業務資料的重新理解、更多的資料資訊、更復雜的資料組織方式、更高的機器效能要求、儲存要求以及模型上線要求。以高維時序資料為基礎,施以神經網路來訓練,加工多維變數特徵,最終建立並優化模型的AI決策能力。

具體來看,作為機器學習的重要分支,神經網路是從資料中學習表示的一種新的方法,強調從連續地層中進行學習。在神經網路演算法驅動下,模型可在同一時間共同學習所有表示層,可能包含數十個甚至上百個連續層,而其他機器學習方法往往僅僅學習一兩層的資料表示。

神經網路在高維時序資料學習中,一方面通過漸進的、逐層式的方式形成越來越複雜的表示;另一方面,對漸進的表示共同進行學習,每一層的變化都需要同時考慮上下兩層的需要。這意味著,迴圈神經網路引入狀態變數時,能儲存每個時刻的資訊,並且與當前的輸入共同決定此刻的輸出。

從薩摩耶雲的AI決策實踐來看,薩摩耶雲在模型搭建過程中,不僅考慮了以往的樣本維度和特徵維度,還把各時間節點的使用者特徵差異納入考量,通過三維資料加工完善資料特徵。在此基礎上,薩摩耶雲利用神經網路、深度學習,建立和訓練模型,實現比常規模型更為高效的模型效果。

這對於提升模型的預判能力和精準度至關重要。就像閱讀一段新聞,如果僅僅從每一個字、每一個片語來理解,很容易斷章取義,無法真正明白新聞所指。但把新聞構成中的字詞句連貫起來,並置於各個背景節點中,就可以理解新聞的準確意思。

當薩摩耶雲把基於神經網路等技術的AI模型,應用於實際業務場景之中,能進一步放大資料價值,幫助企業增強預測分析能力,提升精準營銷、銷售管理、供應鏈協作、結果預測、風險控制的效率,進而實現從經驗決策到智慧決策,達到降本增效的效果。

實驗資料也表明,用神經網路的時間序列來做變數衍生,可以產生較為顯著的變數增益效果,衍生變數可以直接用於其他傳統方式的建模環節,同時也可擴充內部的衍生變數空間。當原始特徵的區分能力得到提升,模型的區分效果也得到增強,最終強化AI模型效能。

作為領先的獨立雲服務科技解決方案供應商,薩摩耶雲立足場景需求,深耕AI決策智慧賽道,不斷升級大資料、演算法、模型策略和產品設計,為數字經濟和企業數字化轉型提供技術支撐。在此過程中,薩摩耶雲不僅強化了自身核心自主競爭力,而且著眼數字中國全景,源源不斷釋放科技賦能的價值。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69969060/viewspace-2900230/,如需轉載,請註明出處,否則將追究法律責任。

相關文章