人工智慧與大資料的完美結合

阿里云云棲社群發表於2018-06-04

摘要: 人工智慧是一種在大資料世界中指引方向和獲取規律的方法。

人工智慧(AI)已經存在幾十年了。然而,最近隨著“大資料”的出現,它得到了越來越多的關注。維基百科對人工智慧的釋義如下:

在電腦科學中,人工智慧研究的領域將自己定義為“智慧代理AI和大資料:完美結合”的研究:任何裝置都能感知到它的環境,並採取一些行為最大化其在一些目標上獲得成功的機會。

而將大資料描述如下:

“大資料是如此的龐大或者複雜,以至於傳統的資料處理應用軟體不足以處理它們。”

計算機已經變得如此強大,以至於我們現在有能力在每秒儲存數百萬條的資料記錄。不幸的是,分析資料的能力可能是一個瓶頸,繼續使用傳統的方法並不可取。

人工智慧和大資料:完美結合

那麼,大資料為什麼會引起對人工智慧的關注呢?答案很簡單,人工智慧可以用傳統人類無法處理的方式來處理大資料集。

以銀行應用程式為例。該應用程式每秒鐘的資料流以百萬級來記錄,我們希望它在異常活動發生時發出警報,例如欺詐或者盜竊等行為。遇到這種情況,人們也許不太可能完整地去處理和分析這一資料量,而是選擇一個小片段,一秒一秒的處理。即使有數以百計的人在分析欺詐可能性的情況下,如此大量的資料也會降低決策能力。

那麼對於傳統的資料處理系統呢?問題是,它們僅僅是演算法,必然會束縛那些相同的邏輯。當尋找異常的時候,靈活性是必需的,但傳統的方法並不擅長。

現在我們進入人工智慧。這些系統執行起來具有模糊性。他們預測,會考慮一條路徑,但是如果新資料否定了一個推理思路,那麼就可以放棄它了,然後開始尋找一個新的方向。由於在給人工智慧系統提供更多資料時它會變得更聰明,因此這非常適合於識別隨時間變化的異常。

現在讓我們來看看一些大資料應用的人工智慧技術。

應用於大資料的人工智慧技術

外推

外推是在原始觀測範圍之外,根據變數與其它變數的關係來評估變數的值的過程。我們假設一些資料呈現出一種趨勢,公司高管想知道:如果這種趨勢持續下去,三個月後公司將會發展到什麼情況?外推法可以做到。請記住,並非所有的趨勢都是線性的。線性趨勢很簡單;一個簡單的直線圖就足夠了。非線性的趨勢需要更多地參與,這就是外推函式有用處的地方。這些演算法是基於多項式、圓錐曲線或曲線方程的。

異常檢測

異常檢測也被稱為異常值檢測。它包括標識不符合預期模式的識別資料項、事件或觀測,或資料集中的其它項。異常檢測可以識別諸如銀行欺詐(先前提到的AI的應用)之類的事件。它也適用於幾個其它領域,包括(但不限於):故障檢測、系統健康監測、感測器網路和生態系統干擾。

貝葉斯原理

在概率論和數理統計學之中,貝葉斯原理描述了一個事件的概率,它是基於與事件相關的條件前驗知識。這是基於先前事件來預測未來的一種方式。假設一個公司希望知道哪些客戶有流失的風險。使用貝葉斯方法,可以收集滿意度不足的客戶的歷史資料,並用於預測以後有可能流失的客戶。這是一個非常適合應用大資料的例子,因為更多的歷史資料被饋送到貝葉斯演算法裡,其預測結果變得更準確。

自動化計算密集型人類行為

在某些情況下,人類有可能分析大量的資料,但隨著時間的推移,這很繁瑣,就需要人工智慧來幫忙。基於規則的系統可以用來從人類這裡提取、儲存和操縱知識,以便以有用的方式來解釋資料。在實踐中,規則是從人類經驗中產生出來的,並表示為一組“如果-那麼”的語句,它們使用一組斷言,在這些斷言上面建立如何對其採取行動的規則。基於規則的系統可以用來建立軟體來代替人類專家提供問題的答案。這些系統也可以稱為專家系統。考慮一個公司,它有一個能為特定目標分析資料的人類專家,但是,這項任務比較單調乏味。基於規則的系統可以捕獲和自動操作這種專門技能。

圖形原理

在數學中,圖形原理是用來模擬物件之間成對關係的數學結構的研究。在此上下文中的圖形由頂點、節點或由邊、圓弧和線段連線的點組成,並且可以相當複雜和龐大。利用圖形原理,可以很容易地瞭解資料之間的關係。例如,考慮一個複雜的計算機網路。圖形原理可以提供一些見解,以瞭解網路中的瓶頸如何導致其它問題以及某一特殊瓶頸的根本原因。

模式識別

顧名思義,模式識別用於檢測資料中的模式和規律,它是機器學習的一種形式。模式識別系統利用資料訓練的過程被稱為監督學習。它們還可以被用來發現以前未知的資料模式,這個過程稱為無監督學習。與基於單個資料型別的潛在異常的異常檢測方法不同,模式識別可以發現以前在多個資料片中未知的模式,並考慮資料之間的模式(或關係)。一個公司(包括任何行業)可能都有興趣知道什麼時候發生了不尋常的事情,比如如果消費者突然開始購買一種與另一種一起購買的商品。這種模式可能是一個企業所感興趣的。

總之,人工智慧是一種在大資料世界中指引方向和收集規律的方法。

本文作者:【方向】
閱讀原文
本文為雲棲社群原創內容,未經允許不得轉載。

相關文章