資料升維深挖資訊價值,神經網路賦能AI決策
人類對人工智慧的想象和探索,從未止步。
隨著資料、演算法、算力能力提升,人工智慧的應用場景深入到生活的方方面面。我們在搜尋引擎上輸入關鍵詞後,網頁會自動匹配相關搜尋內容;短影片App能根據我們的瀏覽習慣,推送相似的博主和場景;對著智慧手機等移動終端喊話,便能呼叫相關功能,實現人機互動。
以人工智慧為代表的數字化產業快速向前推進,產業數字化轉型也成為不可逆的趨勢,各行各業都在尋求與自身商業模式相匹配的AI大腦。AI決策能力,正是AI大腦的核心,它決定了AI解決方案的效率和可執行性。
AI決策由模型效能決定,而模型效能的好壞,離不開人工智慧三駕馬車的拉動——資料、演算法、算力。其中,資料在模型搭建過程中起基礎性作用,一個模型的優劣,百分之八十取決於資料和樣本的維度,正如巧婦難為無米之炊。
因此,資料提升對於模型最佳化有著基礎性、全域性性的作用,而資料與模型也是AI系統的重要組成部分。目前,AI模型開發及應用難點,主要在於資料應用和演算法創新上,其中,後者更多體現的是建模方法的適當性。
資料應用維度不足。從AI決策的模型發展現狀來看,當前很多模型僅僅是基於二維的資料組織形式來構建,沒有考慮到資料在完整週期中的時間節點變化。最終容易導致模型的辨識度、準確度、穩定性失衡,AI決策效果大打折扣。
例如,在影片推薦和電商推薦場景中,如果模型僅是在使用者賬戶、行為屬性、社交記錄、交易結果等標準資料集上構建和最佳化,沒有納入使用者在決策過程中的重要時間節點下的行為表現,可能就會使模型效果過於擬合,不能夠精準地預判使用者喜好以及交易風險控制。
一般來講,二維資料的維度主要表現為樣本維度和特徵維度。樣本維度常常為使用者ID資訊或者是訂單編號,特徵維度則為使用者人口屬性、行為屬性、外部資信等資訊。二維資料模式下,使用者在每個時間點只對應一條變數。
回到實際業務場景,使用者在不同的時間節點會呈現不同的行為表現,儘管這些表現強度存在差異化,但最終會反饋到行為特徵上。如果把不同時間節點的使用者特徵行為差異,儘可能納入建模過程,那麼原有的一對一二維資料就延展至一對多的時間序列形式,也就是說把資料應用升維到樣本維度、時間維度、特徵維度的三維資料組織形式。
三維資料不僅能降低資料集特徵不足的影響,而且能最大程度挖掘資料價值,增加特徵數量,提升模型準確性。尤其是在業務資料獲取時,外部資信等資料往往會遇到接入不確定因素,而內部資料數量和型別有限,並且利用程度趨於飽和。
但對於模型開發而言,更高的精準度和辨識度,要求引入更多維度的資料,挖掘資料規律,生成更多衍生變數。一旦無法從數量維度獲取更多變數,那麼只能從質量角度下功夫,向深度挖掘變數內部資訊,其中一對多的時間序列角度的升維就是深挖資料資訊的方法之一。
其實,資料升維可用於AI模型最佳化的場景非常多,例如在股票、基金的智慧投顧業務中,AI模型的資料應用加入時間維度,與樣本維度和個股、個基一起構成三維樣本,便能把節點變數考慮在內,更加精準預判未來走勢。
要想透過高維時序資料實現模型最佳化,僅停留在資料層面遠遠不夠,還需對演算法提升。決定模型好壞的剩下20%,正是建模方法的選擇,而與高維時序資料處理相匹配的演算法通常為基於神經網路演算法的深度學習。
以薩摩耶云為例,薩摩耶雲基於深度學習框架,探索資料升維用於模型效能的提升,研發出適用於多行業和場景的AI解決方案,滿足企業高效智慧決策的需求。同時,這些端到端的雲原生科技解決方案,以SaaS+aPaaS形式提供交付,透過雙方系統對接實現資訊實時互動,能為合作伙伴輸出基於雲的智慧決策服務。
薩摩耶雲首席科學家王明明談到,更高維度的時序資料建模意味著對現有的業務資料的重新理解、更多的資料資訊、更復雜的資料組織方式、更高的機器效能要求、儲存要求以及模型上線要求。以高維時序資料為基礎,施以神經網路來訓練,加工多維變數特徵,最終建立並最佳化模型的AI決策能力。
具體來看,作為機器學習的重要分支,神經網路是從資料中學習表示的一種新的方法,強調從連續地層中進行學習。在神經網路演算法驅動下,模型可在同一時間共同學習所有表示層,可能包含數十個甚至上百個連續層,而其他機器學習方法往往僅僅學習一兩層的資料表示。
神經網路在高維時序資料學習中,一方面透過漸進的、逐層式的方式形成越來越複雜的表示;另一方面,對漸進的表示共同進行學習,每一層的變化都需要同時考慮上下兩層的需要。這意味著,迴圈神經網路引入狀態變數時,能儲存每個時刻的資訊,並且與當前的輸入共同決定此刻的輸出。
從薩摩耶雲的AI決策實踐來看,薩摩耶雲在模型搭建過程中,不僅考慮了以往的樣本維度和特徵維度,還把各時間節點的使用者特徵差異納入考量,透過三維資料加工完善資料特徵。在此基礎上,薩摩耶雲利用神經網路、深度學習,建立和訓練模型,實現比常規模型更為高效的模型效果。
這對於提升模型的預判能力和精準度至關重要。就像閱讀一段新聞,如果僅僅從每一個字、每一個片語來理解,很容易斷章取義,無法真正明白新聞所指。但把新聞構成中的字詞句連貫起來,並置於各個背景節點中,就可以理解新聞的準確意思。
當薩摩耶雲把基於神經網路等技術的AI模型,應用於實際業務場景之中,能進一步放大資料價值,幫助企業增強預測分析能力,提升精準營銷、銷售管理、供應鏈協作、結果預測、風險控制的效率,進而實現從經驗決策到智慧決策,達到降本增效的效果。
實驗資料也表明,用神經網路的時間序列來做變數衍生,可以產生較為顯著的變數增益效果,衍生變數可以直接用於其他傳統方式的建模環節,同時也可擴充內部的衍生變數空間。當原始特徵的區分能力得到提升,模型的區分效果也得到增強,最終強化AI模型效能。
作為領先的獨立雲服務科技解決方案供應商,薩摩耶雲立足場景需求,深耕AI決策智慧賽道,不斷升級大資料、演算法、模型策略和產品設計,為數字經濟和企業數字化轉型提供技術支撐。在此過程中,薩摩耶雲不僅強化了自身核心自主競爭力,而且著眼數字中國全景,源源不斷釋放科技賦能的價值。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69969060/viewspace-2900230/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料探勘---BP神經網路神經網路
- 品友全面升級集團戰略 AI賦能商業決策AI
- AI決策進階:深度學習遷移技術賦能決策AI深度學習
- 神經網路中的降維和升維方法 (tensorflow & pytorch)神經網路PyTorch
- 杉巖物件儲存 讓資料價值賦能企業智慧物件
- 順應“新基建”時代,摩杜雲賦能資料價值
- 神策遊戲解決方案:賦能遊戲產業精品化研運升級遊戲產業
- ScaleFlux賦能雲服務商,助力企業釋放資料價值UX
- 如何創造資料資產價值?如何對內賦能業務運營,對外創造市場價值?
- 資料驅動決策:決策智慧與設計思維
- 神經網路股票收盤價神經網路
- 賦能IT,創新價值——網際網路時代企業IT轉型實踐
- 釋放資料要素價值 賦能經濟社會發展 中國“資料要素×”生態大會在鄭州召開
- 打通資料價值鏈,百分點資料科學基礎平臺實現資料到決策的價值轉換 | 愛分析調研資料科學
- AI之(神經網路+深度學習)AI神經網路深度學習
- 雙向賦能:AI與資料庫的修行之道AI資料庫
- [譯] 在 Keras 中使用一維卷積神經網路處理時間序列資料Keras卷積神經網路
- Tensorflow神經網路預測股票均價神經網路
- 核心升級,資料先行 —— SNP中國賦能企業破解資訊化升級轉型後顧之憂
- 美創資料支撐平臺釋出,全新升級賦能資料治理
- 前饋神經網路進行MNIST資料集分類神經網路
- “釋放資料要素價值 賦能經濟社會發展” 中國“資料要素×”生態大會將於12月24日舉行
- 神經網路:numpy實現神經網路框架神經網路框架
- 科技創新大潮澎湃,AI決策賦能產業高質量發展AI產業
- 從資訊理論的角度理解與視覺化神經網路視覺化神經網路
- 神經網路神經網路
- 27 張 AI 速查手冊!涵蓋神經網路、機器學習、資料視覺化等AI神經網路機器學習視覺化
- 戴爾科技:全面賦能中國使用者,成就企業資料價值的新動力
- 一個故事看懂AI神經網路工作原理AI神經網路
- 開發者福音 | 維陣(AI圖神經網路漏洞挖掘)上線公測AI神經網路
- 什麼?神經網路還能創造新知識?神經網路
- 神經網路中的Heloo,World,基於MINST資料集的LeNet神經網路
- 【原創】python實現BP神經網路識別Mnist資料集Python神經網路
- 1.4 神經網路入門-資料處理與模型圖構建神經網路模型
- matlab練習程式(神經網路識別mnist手寫資料集)Matlab神經網路
- 為資料賦能:騰訊TDSQL分散式金融級資料庫前沿技術SQL分散式資料庫
- 頁面資料賦值轉換賦值
- 【神經網路篇】--基於資料集cifa10的經典模型例項神經網路模型