大資料的使用將成為未來提高競爭力的關鍵要素。大資料本質上是“一場管理革命”。大資料時代,決策將日益基於資料和分析而作出,而並非基於經驗和直覺。

我國儘管已經意識到大資料的競爭力和戰略性,卻並未在真正意義上將其提升到國家戰略高度,資料財富尚未形成全民意識。

 大資料:未來提高競爭力的關鍵要素

“如果說IBM的主機拉開了資訊化革命的大幕,那麼大資料才是第3次浪潮的華彩樂章。”著名未來學家、當今世界最具影響力的社會思想家之一阿爾文?托夫勒在其 1980年出版的《第三次浪潮》一書中的話正在演變成現實。大資料雖然姍姍來遲,但是來得比托夫勒想象得更為迅猛。

進入21世紀以來,一些嶄新的網際網路的應用如微博、社交網站的不斷普及,以及視訊通訊、醫療影像、地理資訊和監控錄影等視訊內容的急劇增加,加之感測器、無線電射頻識別(RFID)閱讀器、導航終端等非傳統IT裝置和移動裝置,都將產生越來越多的資料,從而造成了“資料爆炸”的現象。根據國際資料公司(IDC)預測,全球的資料產生量到 2020將會增長 44倍,達到35.2ZB。也就是說,全球大概需要 376億個1TB硬碟來儲存資料。大資料並非單指資料量之大,而是指為了更經濟地從高頻率獲取的、大容量的、不同結構和型別的資料中獲取價值而設計的新一代架構和技術。

牛津大學教授維克托·邁爾-舍恩伯格在其新書《大資料時代》中說,大資料是一場“革命”,將對各行各業帶來深刻影響,甚至改變我們的思維方式。其中最關鍵的是,大資料的出現讓人們放棄了對因果關係的渴求,轉而關注相關關係,人們只需知道“是什麼”,而不用知道“為什麼”。這顛覆了千百年來人類的思維模式,對人類的認知方式和交流方式提出了新挑戰。

此外,大資料時代產生的資料密集型的知識發現,有可能成為繼實驗科學、理論分析和計算機模擬這三種經典科研正規化之後的第四種科研正規化。谷歌的廣告優化配置、戰勝人類的“IBM沃森問答系統”已經在向我們展示“第四正規化”的魅力。

資料正成為與物質資產和人力資本相提並論的重要生產要素,大資料的使用將成為未來提高競爭力的關鍵要素。大資料作為重要的生產要素,其價值主要體現在如下三個方面。

能夠實現巨大商業價值。大資料在商業領域的應用,可以通過對顧客群體細分來實現對每個群體量體裁衣般的採取獨特的行動,通過模擬現實來發掘新的需求和提高投入的回報率,通過分析消費者的行為特徵進行商業模式、產品和服務的創新等,這些應用將會產生巨大的商業價值。沃爾瑪是最早通過利用大資料而受益的企業之一,它通過對消費者的購物行為等非結構化資料進行分析,成為最瞭解顧客購物習慣的零售商。沃爾瑪通過分析顧客在網際網路上的搜尋內容,以及在社交網站所顯露的行為軌跡,甚至比美國的一個粗心的父親更早地捕捉到了他女兒的懷孕資訊,並將帶有嬰兒用品優惠券的廣告郵件,寄送給他正在念高中的女兒。

能夠增強社會管理水平。大資料在政府和公共服務領域的應用,可有效推動政務工作開展,提高政府部門的決策水平、服務效率和社會管理水平,產生巨大社會價值。2009年,谷歌公司通過把 5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節性流感傳播時期的資料進行比較,成功預測了當年甲型H1N1流感的爆發及其傳播源頭,遠早於疾控中心官方。

能夠提高安全保障能力。大資料在國防、反恐、安全等領域的應用,將對各部門蒐集到的各類資訊進行自動分類、整理、分析,有效解決情報、監視和偵察系統不足等問題,提高國家安全保障能力。從純技術角度觀察,美國的“稜鏡”專案就是一個典型的通過分析海量通訊資料獲取安全情報的大資料案例。

《孫子兵法》說:“多算 勝,少 算 不勝。”決定能否“多算”的重要因素在於,掌握資料的多少以及對資料處理能力的高低。在大資料時代,國家層面的競爭力將部分體現為一國擁有大資料的規模、活性以及對資料的解釋、運用能力。一個國家在網路空間的資料主權將是繼海、陸、空、天之後另一個大國博弈的空間。

 國家層面:將大資料提升為國家戰略

鑑於大資料潛在的巨大影響,很多國家都將大資料視作戰略資源,並將大資料提升為國家戰略。

2012年3月,美國奧巴馬政府宣佈推出“大資料的研究和發展計劃”。該計劃涉及美國國家科學基金、美國國家衛生研究院、美國能源部、美國國防部、美國國防部高階研究計劃局、美國地質勘探局等6個聯邦政府部門,承諾將投資兩億多美元,大力推動和改善與大資料相關的收集、組織和分析工具及技術,以推進從大量的、複雜的資料集合中獲取知識和洞見的能力。美國奧巴馬政府宣佈投資大資料領域,是大資料從商業行為上升到國家戰略的分水嶺,表明大資料正式提升到戰略層面,大資料在經濟社會各個層面、各個領域都開始受到重視。

其實,不僅是美國,其他一些國家和地區也都把大資料提升到國家戰略層面,認為未來國家層面的競爭力將部分體現為一國擁有資料的規模及運用資料的能力。2013年2月,法國政府釋出了其《數字化路線圖》,列出了 5項將會大力支援的戰略性高新技術,“大資料”就是其中一項。法國政府將以新興企業、軟體製造商、工程師、資訊系統設計師等為目標,開展一系列的投資計劃,旨在通過發展創新性解決方案,並將其用於實踐,來促進法國在大資料領域的發展。2012年9月,日本總務省釋出2013年行動計劃,提出以復甦日本為目的推進“活躍在ICT領域的日本”ICT綜合戰,明確提出“通過大資料和開放資料開創新市場”。這些表明,日本政府在新一輪IT振興計劃中把大資料發展作為國家層面戰略提出,新 ICT戰略將重點關注大資料應用技術。

  企業層面:對大資料的儲存、處理和應用積極佈局

不僅是政府開始謀劃大資料發展戰略,IT巨頭如英特爾、IBM、甲骨文、微軟、淘寶、百度和騰訊等也開始對大資料的儲存、處理和應用進行佈局,在針對個人使用者資訊的大資料的管理和分析上投入了鉅額資金。

2010年以來,歐美 IT巨頭掀起一輪與大資料相關的併購潮。英特爾併購了安全軟體製造商McAfee等很多大資料處理以及架構廠商來彌補自己在軟體上的能力;IBM通過併購資料分析公司來增強自己在海量資料處理上的實力。從各IT巨頭紛紛推出的大資料產品可以看出,這些IT巨頭幾乎搶佔了搜尋服務、資料庫、伺服器、儲存裝置、資料探勘等核心價值環節。

國已成為 IT巨頭佈局大資料戰略的重要戰場。例如:英特爾在上海成立一個團隊專門在做 Hadoop大資料處理架構的開發;EMC組建EMC中國研究院,下設大資料、雲基礎構建、雲平臺與應用3個實驗室來推動這3個方面的研究以及大資料在中國的應用;IBM在北京成立了全球首個大資料智慧賦能中心,並且匯聚了來自IBM全球的大資料技術專家和商業運營精英,旨在為企業構建一個從商業評估、論證、方案部署到人員培訓的完整大資料戰略體系。

國內企業受限於IT產業鏈所處的位置,普遍在資料庫、資料倉儲、商業智慧等領域基礎薄弱,因此,在大資料上佈局不可能像跨國企業那樣全面。但國內相對強勢的網際網路企業、電信運營商、電信裝置供應商已經開始啟動產業佈局,以網際網路應用服務為切入點搶佔大資料制高點。

 大資料面臨的挑戰:不僅僅是技術

如果從資料結構複雜多樣,資料規模爆炸增長,對社會生活產生巨大影響的角度看,全球已經進入大資料時代。但是從對資料的應用角度看,當下還處於大資料時代的早期。特別是對我國來說,大資料真正落地,還需面臨幾個重大的挑戰。

對資料共享和隱私保護的挑戰。中國人口居世界首位,將會成為產生資料量最多的國家,但對資料儲存不夠重視,對儲存資料的利用率也不高。此外,我國一些部門和機構擁有大量資料但受行政壟斷和商業利益所限,資料開放程度也較低,這給資料利用造成極大障礙。制約我國資料資源開放和共享的一個重要因素是政策法規不完善,一方面欠缺推動政府和公共資料開放的政策;另一方面資料保護和隱私保護方面的制度不完善,抑制了開放的積極性。所以,如何使政府從壟斷和保密的歷史慣性思維方式中解脫出來,在確保隱私、機密和國家安全的前提下帶頭開放資料,降低公眾獲取和利用政府資料資源難度和成本,至少是我國大資料時代開啟階段的瓶頸。

對資料儲存和分析技術的挑戰。大資料中大部分都是非結構化的資料,如網路日誌、RFID、感測器網路、社交網路、網際網路搜尋索引、詳細通話記錄、醫療記錄、攝影檔案、視訊檔案等。現有的軟體和工具主要適用於以結構化資料為主的傳統資料,要想及時捕捉、儲存、聚合和管理這些大資料,以及對資料進行深度分析和挖掘,需要新的技術和能力。在大資料軟體平臺和演算法方面,國外又一次走在我國前面。特別是近年來以開源模式發展起來的 Hadoop等大資料處理軟體平臺及其相關產業已經在美國初步形成。而我國資料儲存、處理技術基礎薄弱,總體上以跟隨為主,難以滿足大資料大規模應用的需求。

對管理理念和運作方式的挑戰。大資料的技術挑戰顯而易見,但其帶來的決策挑戰更為艱鉅。大資料開發的根本目的是以資料分析為基礎,幫助人們作出更明智的決策,優化企業和社會運轉。哈佛商業評論說,大資料本質上是“一場管理革命”。多年前出現的網際網路將企業經營、政府運作以及人們生活的方式做出了很大改變。大資料的出現,又一次激起了這種巨大的變革能力。在大資料時代,決策將日益基於資料和分析而作出,而並非基於經驗和直覺。在我國,無論是政府部門還是企業,對大資料可能產生的價值的認識,以及如何利用資料分析實現科學決策依然有相當長的路要走。

大資料時代:政府需要有所作為

現代歷史上的歷次技術革命,中國均是學習者。而在這次雲端計算與大資料的新變革中,中國與世界的距離最小,在很多領域甚至還有著創新與領先的可能。一方面,大資料技術以開源為主,迄今為止,尚未形成絕對技術壟斷。即便是英特爾、IBM、甲骨文等IT巨頭,也同樣是整合了開源技術,和本公司原有產品更好的結合而已。另一方面,中國人口和經濟規模,決定中國的資料資產規模將冠於全球,客觀上為大資料技術的發展,提供了廣闊的發展空間。從國家角度來看,大資料是重要戰略資源。因此,挖掘大資料價值,推動大資料發展,需要政府發揮作用。

將大資料上升為國家戰略。我國儘管已經意識到大資料的競爭力和戰略性,卻並未在真正意義上將其提升到國家戰略高度,資料財富尚未形成全民意識。因此有必要從國家層面上制定大資料發展規劃,將大資料上升為國家戰略。通過國家層面的戰略規劃明確大資料產業的發展重點、空間佈局和保障措施,推動和改善與大資料相關的收集、儲存和分析工具及技術,並在公共服務領域(如安防、醫療、衛生、教育等),開展大資料應用示範,提高應急處置能力和安全防範能力,提升服務能力和運作效率。

推動資料公開,同時保護“隱私權”。如同工業革命要開放物質的交易、流通一樣,開放的、流通的資料是時代的要求。美國政府建立了Data.gov網站公開資料,英國、印度也有“資料公開”運動。中國要趕上這樣一場大資料變革,首先要從政府開始公開資料,讓社會享受公開資料的好處,同時也可以提升政府的辦事效率。其次要通過資料立法,對“隱私權”“所有權”等敏感問題通過法律形式加以保護。

推動政府2.0建設。通過以移動技術為代表的雲端計算、大資料等新一代IT技術工具和社會性網路服務(SNS)、社交媒體為代表的社會工具應用,打造以使用者創新、大眾創新、開放創新、協同創新為特徵的政務平臺,實現從生產正規化向服務正規化的轉變,通過政府、市場、社會的協同與互動塑造公共價值。