大資料產業發展現狀——由“概念”到“價值”的華麗轉身

龍騰AI技術發表於2022-10-25

繼物聯網、雲端計算之後,大資料已經成為當前資訊科技產業最受關注的概念之一。大資料時代的來臨,使得領域和行業邊界愈加模糊,應用創新超越技術本身,生產模式向服務化轉變,資料作為一種資產為企業帶來新商業價值,資料開放讓政府治理和個人福祉都面臨著機遇和挑戰……無論個人、企業組織、社會團體,還是國家和經濟體,都能藉此實現大資料夢想。


當前,全球大資料產業正處於蓬勃發展的孕育期和機遇期。核心關鍵技術正在加快發展和更新換代,各類解決方案提供商加大力度宣傳造勢,尤其是圍繞電信、航空、交通、生物、城市管理等重點領域描繪美好藍圖,力求推動行業應用和商業模式創新,搶佔產業增長點。與此同時,小微企業和創業者對大資料熱情高漲,期望藉此機會實現高速成長的夢想。由於整個大資料產業開始轉向應用創新階段,高成長的預期讓各方都對未來抱以樂觀的態度。


大資料產業發展現狀——由“概念”到“價值”的華麗轉身


從“技術驅動”轉向“應用驅動”

作為一個獨立的產業,大資料的產業體系框架表現為“兩縱三橫”:“兩縱”基於技術的基礎程度,分為底層技術和應用層技術,前者是共性、基礎性技術,如 Hadoop框架、Hbase資料庫、Mahout演算法集等;後者是“二次開發”行為,包括各類個性化方案、產品與服務。“三橫”基於處理的流程順序,分為基礎設施、分析系統和應用工具,也可進一步細化為資料的採集、儲存、處理、分析、服務五方面。目前,“兩縱三橫”的產業體系已經趨於成熟,能夠應對絕大多數的產業應用需求。

廣義的大資料應用本質上是一種“增值分析”,前景有著近似無限的可能,不受任何行業、資源、地域、使用者的約束。從這個層面看,各產業領域未來發展方向幾乎都能和大資料掛鉤。以“十二五”國家戰略性新興產業發展規劃為例,很多技術前沿的描述和佈局,均與大資料相一致或關聯,或是可以透過大資料實現。如新一代資訊科技產業佈局了物聯網、移動終端裝置、雲端計算、海量資料處理軟體;節能環保產業佈局了高效儲能、節能監測和能源計量;生物醫藥產業佈局了生物資源樣本庫、基因測序,以及基於物聯網的遠端健康管理服務等。

由於大資料技術興起於網際網路時代,網際網路的快速發展與其持有的開放、共享、合作等觀念密切相關,因而大資料技術的創新也引入了網際網路的這種價值觀。例如有不少大資料技術是開源的,可無償供給全世界的開發者使用和改進。開源專案、開源社群和開放性創新聯盟組織的成熟更是推動了大資料核心技術的發展,催生了多種用於儲存、處理和分析大資料的新產品。這一過程有效降低了產業技術的壁壘,推動更多的企業和創業者介入,進一步加快了技術應用轉化的過程,有助於產業的迅速成長。

雖然大資料產業的“技術驅動”色彩十分明顯,與“應用驅動”階段尚有一段距離,但這一轉變過程正在加速進行。


大資料產業發展現狀——由“概念”到“價值”的華麗轉身


細化的產業競爭策略逐步成型

大資料產業是典型的知識密集型服務業,除了基礎設施環節會帶來一定能耗之外,其餘環節均為零能耗、高附加值。其在初始資本、法規監管等方面的准入門檻極低,但對人才資源的要求較高。為此,產業競爭呈現出數量大、水平高的特點,企業競爭策略逐步分化。

儘管大資料從業者正在急劇增加——幾乎所有的資訊科技企業都在此領域佈局,同時創業者持續不斷地進入,競爭者甚多,然而由此帶來的並非過度競爭,而是良性競爭,最終將推動技術的創新和價值的實現。

這主要歸功於兩個原因:一是高創新的屬性。大資料技術是資訊科技領域中的高附加值環節,以谷歌、亞馬遜等為代表的大資料企業,無論是在技術先進性、創新活躍度還是在市場份額上,都在全球處於領先位置。二是高增長的預期。作為企業個體,在產業急速成長的預期之下,基本都選擇了追求專業性的策略,依靠產品效能和服務取勝,而擯棄了追求低成本的策略。

在競爭過程中,不同型別的競爭者各具優勢。按照技術的變革性與應用水平,主要分化為三類競爭者:一是“網際網路顛覆者”,谷歌以及各類大資料開源專案發展了全新的基礎技術與資料庫構架,依靠免費、開源的所謂網際網路模式,徹底改變了原有的技術標準與遊戲規則,顛覆了以往各自為陣的資訊科技產業。

二是“初生牛犢”,在新的規則面前,大公司與創業者處在同一條起跑線上,一些擁有核心人才與市場嗅覺的創業企業,在特定工具、專業平臺方面迅速搶佔先機,填補市場空白,獲得快速發展,在產業鏈中擁有了一席之地。

三是“系統整合商”,像微軟、IBM這樣的傳統IT巨頭擁有強大的資金、研發能力和市場資源。他們能夠敏銳意識到自我革命的緊迫性並馬上採取應對舉措,積極收購大資料相關企業,將收購獲得的技術產品組裝為面向行業的應用解決方案,並加強大資料商業營銷。

例如IBM在2006—2013年期間併購了30多家公司,還計劃2015年前再支出145億美元用於大資料併購。目前,IBM的大資料平臺包括基於 Hadoop的分析、流計算、資料倉儲、整合、視覺化、系統管理、治理、諮詢服務及業務夥伴應用多個方面,提供軟體、硬體和行業解決方案在內的各種服務。

另外,政府也是大資料產業的重要一環,主要體現在政府對公共資料的開放上這將使政府在促進產業發展上扮演更加重要的角色。

2009 年,剛上任的美國總統奧巴馬簽署的首份總統備忘錄即為《透明和開放的政府》,隨後建立了統一的政府資料開放入口網站:Data.Gov,逐步開放政府擁有的公共資料,並提供多種應用程式介面,供開發者建立特色應用。截至2014年初,該網站開放的資料集已經超過了85000項,彙集了1200餘個應用程式和軟體工具、手機外掛,其中超過300個是由個人或民間組織開發。新的商業模式和企業隨之產生,如FlightCaster公司基於美國交通統計局、聯邦航空局交通管制中心警報、美國氣象局和航班執行狀況資訊網站FlightStats的資料,提供航班晚點預報,比航空公司的正式通知早6個小時,且準確率達到85%—90%。

大資料產業發展現狀——由“概念”到“價值”的華麗轉身



資料驅動型的商業模式創新

資料驅動型的商業模式有如雨後春筍,在全球大量湧現。按照資料的獲取、管理、分析、應用環節的區分方式,可以將大資料的商業模式分為資料託管和交易平臺、關係挖掘和沉澱價值利用、資料社交和跨界連線三種型別。

資料託管和交易平臺模式應用已有數十年之久,是發展最為成熟、最為普遍的大資料商業模式,本質是發揮規模效應,降低單個企業在資料資訊儲存和尋找上的投入成本。主要業務形態有空間出租託管、資料商店、資料市場等,典型的代表企業為亞馬遜、EMC2、DropBox。

近年來引入“雲”的概念,從簡單的資料儲存,逐步擴充套件到資料聚合平臺,最終形成雲服務;而以獨特資料資源進行的整合朝著縱向產業鏈上下游整合和橫向多種產業整合兩個方向發展,促使了一站式資料商店和資料交易平臺的出現。如亞馬遜、微軟等企業均建立了可以交易應用程式和高階資料集的資料商店,目前已有數萬億個資料點、數千個訂閱、數百個應用程式。

關係挖掘是媒體熱炒的主流大資料商業模式,也是資料科學的主要應用模式。核心是透過資料發現隱藏的相關性,最終用於指導商業、精準化服務與輔助決策。

實現這種模式需要一些先決條件,主要是面向資料的處理分析環節:一是目標領域的完全量化,如網際網路廣告領域,從廣告點選到使用者購買行為,均有完整詳實的資料記錄;二是資料處理能力的大幅提升,要能夠處理非關係型資料,並在海量條件下保持實時快速的效能。該模式的難點在於需要顛覆常規的使用者思維和需求邏輯,典型型別是沉澱價值的利用,將一些通常無意義的資料甚至是垃圾資料進行利用,最終得出有價值的結論。

例如,谷歌公司利用數十億使用者搜尋時的錯誤拼寫記錄來提升其拼寫檢查器的智慧性。就目前而言,基於關係挖掘的大資料模式尚未成熟,但承載了社會各界的較高期望:這種模式將有助於驅動產業轉型和發展新興產業,如推動生物醫藥等研發密集型產業、企業諮詢等知識密集型產業向資料密集型產業轉型,推動零售、交通等傳統服務業向現代服務業轉型,推動傳統制造業向智慧製造業轉型等。

與前兩種模式不同,資料社交和跨界連線模式直接面向每一個社會個體,本質上是充分挖掘物理世界的個體資源,將其變成虛擬世界的一個節點,與其他的節點進行連線、互動和交易,從而大大降低各類商業化業務的推廣成本,並形成新興業態。這種模式正在走向成熟,最典型的代表就是O2O。

例如微信成為了連線線上線下、開展移動支付的重要入口;叫車軟體有效降低了供需雙方的資訊不對稱,提升了計程車市場的智慧化程度;可穿戴裝置將人體的訊息進一步量化,並提供決策建議;蘋果Passbook 軟體為使用者提供了一個智慧的電子卡包。推行這種模式也有幾個必要條件,主要是針對資料的採集傳輸環節:移動化,需要帶有位置服務、能夠發射無線訊號的智慧終端;穩定連線,需要高速、泛在的外部網路環境;線上支付,依靠使用者最終的支付行為實現盈利;持續感知能力,需要先進的感測器技術、低功耗晶片技術以及電池技術作為保障。

學習和關注人工智慧技術與諮詢,更多詳情可諮詢175-3102-1189(v同號),qq群:189696007。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70021344/viewspace-2920124/,如需轉載,請註明出處,否則將追究法律責任。

相關文章