碼教授教你大資料時代的應對方案

　　大資料時代面臨的問題與應戰

　　在人類文明的伊始，人與人的第一聲溝通即意味著“聯接”的初步。言語使人與人聯接，並促進用於記載事物的文字、數字符號發生，這樣的“聯接”便發生了“資料”，並演化為人類文明開始的資訊與知識。在漫長的農耕文明時代，“聯接”主要以言語溝通和書面文字溝通的方法存在。進入工業文明時代，“聯接”初步透過無線電臺、電報、電視的方法存在，但這樣的“聯接”發生的資訊往往是單向性且缺少互動的。網際網路時代，人和人初步透過網路進行凌亂交錯的互動聯接。交際網站、電子郵件、查詢引擎、聊天工具……人類建立聯接的方法趨於多樣化、多維化，人類社會發生的資料也因而許多堆集。與此一同，資料的價值越來越遭到人們的重視。資料深化作用於政治、經濟、文明等領域，帶來更多的立異時機，從出產、生活到科研，一個大資料時代正在開啟。

　　在美麗的貴州省黔南州布依族苗族自治州平塘縣，被稱為“我國天眼”的國際上最大的單口徑射電望遠鏡——FAST(500米口徑球面射電望遠鏡)已於2016年9月25日竣工啟用。FAST的核算速度需抵達每秒200萬億次以上，儲存容量需抵達10PB[註釋]以上。這一國際級的工程將協助人們捕捉到更多來自國際的資訊，它的反面是“地輿級”的海量資料儲存和凌亂的核算。

　　跟著時間的推移、科學使命的深化，以及資料的許多蒐集，未來對核算速度和儲存容量的需求將爆炸式新增，資料量和核算量都將“大得驚人”。

　　資料是沒有邊沿的，而核算力、儲存力一直存在物理極限。在以前很長一段時間裡，科技一日千里的展開依託摩爾定律。當摩爾定律逐漸失效時，資料的膨脹是否將引發國際性的數字爆炸?

　　人們寄希望於量子核算，量子核算將有可能使核算機的核算才幹遠遠超越今天的核算機，但仍然存在許多阻礙。怎樣長時間地堅持足夠多的量子位元的量子相干性，一同又可以在這個時間段之內做出足夠多的具有超高精度的量子邏輯操作，前進所需量子裝置的準確性，還面臨許多困難。

　　人類作為自然界中最巨大的智慧體現已進化了上百萬年，人類所具有的智慧是大自然賦予人類第一流的禮物。往後，人類智慧仍將是人工系統模仿和研討的政策。人類未來對資料的處理，要更多地模仿人腦對資料的處理方法，人腦就是國際上最好的“量子核算機”。

　　現在人工智慧的展開水平可以用三個維度來描繪，即強度、擴充套件性和才幹。強度是指人工智慧系統的智慧化程度，擴充套件性是指人工智慧系統可以處理的問題的規劃，才幹是指人工智慧系統所能供給的均勻處理方案的質量。雖然我們現已在專用人工智慧領域取得了突破性發展，但現在人工智慧水平仍然停留在“有智慧沒智慧，有智商沒情商，會核算不會估量，有專才無通才”的水平。其特點是才幹單一，只能在某個特定領域內發揮作用。在人工智慧2.0時代，我們等待一個新的結構：首要，在人的邏輯層次可辯明;其次，可以處理大規劃資料;最終，可以依據一小組符號資料進行學習。我們認為，將資料驅動的機器學習方法與知識引導方法相結合，將為人工智慧的未來推開一扇新的大門。

　　探求處理之道——啟用資料學

　　受人腦處理資料方法的啟示，本書提出了一種新的處理海量資料的一般性結構——啟用資料學。

　　啟用資料學從凌亂理論啟航，將發生智慧所依託的資料、軟體硬體環境、互動規矩等視作一個具有“簡單性、區域性性、全域性性、內聚力、動態性”的開啟凌亂系統，智慧發生的程式即開啟凌亂系統中各個具有區域性政策和行為的自主體透過自主行為及動態環境相互作用抵達全體的全域性政策所呈現的集體智慧，這種呈現的集體智慧可以高效求解問題。

　　啟用資料學中選用塊資料模型作為資料模型。塊資料把各種鬆散的點資料和切割的條資料匯聚在一個特定平臺上並使之發生持續的聚合效應。塊資料的聚合打破了傳統資訊不對稱和物理區域、工作領域對資料活動的束縛，高度相關的各類資料可以在沒有任何阻礙和束縛的條件下自在活動、相互作用，為智慧的發生發明晰條件。

　　啟用資料學的中心是將人類認知才幹與核算機快速運算和海量儲存的才幹結合起來。一方面，前進智慧系統的置信度，避免人工智慧技術的侷限性所構成的風險甚至危害;另一方面，建立人類參與的混合增強智慧，將海量資料透過人機混合增強智慧完結最佳開釋。這種形狀是人工智慧可行的、重要的成長方式。

　　資料查詢、相關交融、自啟用、熱門減量化、集體智慧是啟用資料學的5個工作階段，構成了啟用資料學模型化工作的完整流程