大資料時代 面臨的七個挑戰和八大趨勢

　　大資料挑戰和機遇並存，大資料在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大資料在未來幾年將逐漸步入理性發展期。未來的大資料發展依然存在諸多挑戰，但前景依然非常樂觀。

　　大資料發展的挑戰

　　目前大資料的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大資料需求導致資料資產逐漸流失；企業內部資料孤島嚴重，導致資料價 值不能充分挖掘；資料可用性低，資料質量差，導致資料無法利用；資料相關管理技術和架構落後，導致不具備大資料處理能力；資料安全能力和防範意識差，導致 資料洩露；大資料人才缺乏導致大資料工作難以開展；大資料越開放越有價值，但缺乏大資料相關的政策法規，導致資料開放和隱私之間難以平衡，也難以更好的開 放。

　　挑戰一：業務部門沒有清晰的大資料需求

　　很多企業業務部門不瞭解大資料，也不瞭解大資料的應用場景和價值，因此難以提出大資料的準確需求。由於業務部門需求不清晰，大資料部門又是非盈利 部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大資料部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大資料方向 的發展，也阻礙了企業積累和挖掘自身的資料資產，甚至由於資料沒有應用場景，刪除很多有價值歷史資料，導致企業資料資產流失。因此，這方面需要大資料從業 者和專家一起，推動和分享大資料應用場景，讓更多的業務人員瞭解大資料的價值。

　　挑戰二：企業內部資料孤島嚴重

　　企業啟動大資料最重要的挑戰是資料的碎片化。在很多企業中尤其是大型的企業，資料常常散落在不同部門，而且這些資料存在不同的資料倉儲中，不同部 門的資料技術也有可能不一樣，這導致企業內部自己的資料都沒法打通。如果不打通這些資料，大資料的價值則非常難挖掘。大資料需要不同資料的關聯和整合才能 更好的發揮理解客戶和理解業務的優勢。如何將不同部門的資料打通，並且實現技術和工具共享，才能更好的發揮企業大資料的價值。

　　挑戰三：資料可用性低，資料質量差

　　很多中型以及大型企業，每時每刻也都在產生大量的資料，但很多企業在大資料的預處理階段很不重視，導致資料處理很不規範。大資料預處理階段需要抽 取資料把資料轉化為方便處理的資料型別，對資料進行清洗和去噪，以提取有效的資料等操作。甚至很多企業在資料的上報就出現很多不規範不合理的情況。以上種 種原因，導致企業的資料的可用性差，資料質量差，資料不準確。而大資料的意義不僅僅是要收集規模龐大的資料資訊，還有對收集到的資料進行很好的預處理處 理，才有可能讓資料分析和資料探勘人員從可用性高的大資料中提取有價值的資訊。Sybase的資料表明，高質量的資料的資料應用可以顯著提升企業的商業表 現，資料可用性提高10%，企業的業績至少提升在10%以上。

　　挑戰四：資料相關管理技術和架構

　　技術架構的挑戰包含以下幾方面：（1）傳統的資料庫部署不能處理TB級別的資料，快速增長的資料量超越了傳統資料庫的管理能力。如何構建分散式的 資料倉儲，並可以方便擴充套件大量的伺服器成為很多傳統企業的挑戰；（2）很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮資料類別的多樣性，尤其是對 結構化資料、半結構化和非結構化資料的相容；（3）傳統企業的資料庫，對資料處理時間要求不高，這些資料的統計結果往往滯後一天或兩天才能統計出來。但大 資料需要實時處理資料，進行分鐘級甚至是秒級計算。傳統的資料庫架構師缺乏實時資料處理的能力；（4）海量的資料需要很好的網路架構，需要強大的資料中心 來支撐，資料中心的運維工作也將成為挑戰。如何在保證資料穩定、支援高併發的同時，減少伺服器的低負載情況，成為海量資料中心運維的一個重點工作。

　　挑戰五：資料安全

　　網路化生活使得犯罪分子更容易獲得關於人的資訊，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證使用者的資訊保安成為大 資料時代非常重要的課題。線上資料越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼洩露、系統漏洞導致使用者資料被盜等個人敏感資訊洩露事件已 經警醒我們，要加強大資料網路安全的建設。另外，大資料的不斷增加，對資料儲存的物理安全性要求會越來越高，從而對資料的多副本與容災機制也提出更高的要 求。目前很多傳統企業的資料安全令人擔憂。

　　挑戰六：大資料人才缺乏

大資料建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大資料技術、懂管理、有大資料應用經驗的大資料建設專業隊伍。目前大 資料相關人才的欠缺將阻礙大資料市場發展。據Gartner預測，到2015年，全球將新增440萬個與大資料相關的工作崗位，且會有25%的組織設立首 席資料官職位。大資料的相關職位需要的是複合型人才，能夠對數學、統計學、資料分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大資料將會出現 約100萬的人才缺口，在各個行業大資料中高階人才都會成為最炙手可熱的人才，涵蓋了大資料的資料開發工程師、大資料分析師、資料架構師、大資料後臺開發 工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大資料，所以擁有大資料的企業應該與學校聯合培養 人才。

　　挑戰七：資料開放與隱私的權衡

　　在大資料應用日益重要的今天，資料資源的開放共享已經成為在資料大戰中保持優勢的關鍵。商業資料和個人資料的共享應用，不僅能促進相關產業的發 展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業資訊化系統建設往往缺少統一規劃，系統之間缺乏統一的標準，形成了眾多“資訊孤島”，而且受行 政壟斷和商業利益所限，資料開放程度較低，這給資料利用造成極大障礙。另外一個制約我國資料資源開放和共享的一個重要因素是政策法規不完善，大資料探勘缺 乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的資料共享生態系統，是我國大資料發展需要邁過去的一道砍。同時，開放與隱私如何平衡， 也是大資料開放過程中面臨的最大難題。如何在推動資料全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大資料時代的一個重大 挑戰。

　　大資料發展趨勢

　　雖然大資料仍在起步階段，存在諸多挑戰，但未來的發展依然非常樂觀。大資料的發展呈現八大趨勢：資料資源化，將成為最有價值的資產；大資料在更多 的傳統行業的企業管理落地；大資料和傳統商業智慧融合，行業定製化解決方案將湧現；資料將越來越開放，資料共享聯盟將出現；大資料安全越來越受重視，大數 據安全市場將愈發重要；大資料促進智慧城市發展，為智慧城市的引擎；大資料將催生一批新的工作崗位和相應的專業；大資料在多方位改善我們的生活。

　　趨勢一：資料資源化，將成為最有價值的資產

　　隨著大資料應用的發展，大資料價值得以充分的體現，大資料在企業和社會層面成為重要的戰略資源，資料成為新的戰略制高點，是大家搶奪的新焦點。 《華爾街日報》在一份題為《大資料，大影響》的報告宣傳，資料已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、 騰訊、百度、阿里巴巴和360等企業正在運用大資料力量獲得商業上更大的成功，並且金融和電信企業也在運用大資料來提升自己的競爭力。我們有理由相信大數 據將不斷成為機構和企業的資產，成為提升機構和企業競爭力的有力武器。

　　趨勢二：大資料在更多的傳統行業的企業管理落地

　　一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。目前大資料在大型網際網路企業已經得到較好的應用，其他行業的大數 據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大資料作為一種從資料中創造新價值的工具，將會在許多行業的企業得到應用，帶來 廣泛的社會價值。大資料將在幫助企業更好的理解和滿足客戶需求和潛在需求，更好的應用在業務運營智慧監控、精細化企業運營、客戶生命週期管理、精細化營 銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學，相信大資料在科學管理企業方面有更顯著的促進，讓更多擁抱大資料的企業實現智慧企業管理。

　　趨勢三：大資料和傳統商業智慧融合，行業定製化解決方案將湧現

　　來自傳統商業智慧領域者將大資料當成一個新增的資料來源，而大資料從業者則認為傳統商業智慧只是其領域中處理少量資料時的一種方法。大資料使用者更希 望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業內部的業務資料，還希望能引入網際網路上的網路瀏覽、微博、微信等非結構化資料。除此之外，還 希望能結合移動裝置的位置資訊，這樣企業就可以形成一個全面、完整的資料價值發展平臺。畢竟，無論是大資料還是商業智慧，目的都是為分析服務的，資料全面 整合起來，更有利於發現新的商業機會，這就是大資料商業智慧。同時，由於行業的差異性，很難研發出一套適用於各行業的大資料商業智慧分析系統，因此，在一 些規模較大的行業市場，大資料服務提供商將會以更加定製化的商業智慧解決方案提供大資料服務。我們相信更多的大資料商業智慧定製化解決方案將在電信、金 融、零售等行業出現。

　　趨勢四：資料將越來越開放，資料共享聯盟將出現

　　大資料越關聯越有價值，越開放越有價值。尤其是公共事業和網際網路企業的資料開放資料將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在 政府和公共事業上的資料做出努力。而國內的一些城市和部門也在逐漸開展資料開放的工作。比如北京市在2012年就開始試執行政務資料資源網，在2013年 年底正式開放；上海在2012年啟動了政府資料資源開放試點工作，資料涉及地理位置、交通、經濟統計和資格資質等資料；2014年，貴州省也加入資料開放 之列，10月份雲上貴州正式上線。對於不同的行業，資料越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及藥效資訊，那麼就需要全國，甚至全世 界的醫療資訊共享，從而可以通過平臺進行分析，獲取更大的價值。我們相信資料會呈現一種共享的趨勢，不同領域的資料聯盟將出現。

　　趨勢五：大資料安全越來越受重視，大資料安全市場將愈發重要

　　隨著資料的價值的越來越重要，大資料的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的資訊，也有更多的騙術和 犯罪手段出現，所以，在大資料時代，無論對於資料本身的保護，還是對於由資料而演變的一些資訊的安全，對大資料分析有較高要求的企業將至關重要。大資料安 全是跟大資料業務相對應的，與傳統安全相比，大資料安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析，並且找出針對大資料的業務的威脅， 然後提出有針對性的解決方案。比如，對於資料儲存這個場景，目前很多企業採用開源軟體如Hadoop技術來解決大資料問題，由於其開源性，但是其安全問題 也是突出的。因此，市場需要更多專業的安全廠商針對不同的大資料安全問題來提供專業的服務。

　　趨勢六：大資料促進智慧城市發展，為智慧城市的引擎

　　隨著大資料的發展，大資料在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地 進行資源佈局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和資訊利用能力，通 過物聯網、移動網際網路、雲端計算等新一代資訊科技，實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念，最大的區 別在於對感知層獲取的資訊進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實現對數字資訊的智慧處理，其核心是引入了大資料處理技術。大資料是智慧 城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大資料為基礎的的智慧城市應用領域。

　　趨勢七：大資料將催生一批新的工作崗位和相應的專業

　　一個新行業的出現，必將在工作職位方面有新的需求，大資料的出現也將推出一批新的就業崗位，例如，大資料分析師、資料管理專家、大資料演算法工程 師、資料產品經理等等。具有有豐富經驗的資料分析人才將成為稀缺的資源，資料驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求，高校也將逐步開設大 資料相關的專業，以培養相應的專業人才。企業也將和高校緊密合作，協助高校聯合培養大資料人才。如2014年，IBM 全面推進與高校在大資料領域的合作，引入強大的研發團隊和業務夥伴，推動“大資料平臺”和“大資料分析”的面向行業產學研創新合作以及系統化知識體系建設 和高價值人才培養，建設符合中國教學特色及人才需求的大資料相關學分課程，為未來建設特色專業方向做準備。

　　趨勢八：大資料在多方位改善我們的生活

　　大資料不僅用於企業和政府，也應用於我們的生活。在健康方面：我們可以利用智慧手環監測，對我們的睡眠模式來進行追蹤，瞭解睡眠質量；我們可以利 用智慧血壓計、智慧心率儀遠端的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心；在出行方面：我們可以利用智慧導航出行GPS資料了 解交通狀況，並根據擁堵情況進行路線實時調優。在居家生活方面：大資料將成為智慧家居的核心，智慧家電實現了擬人智慧，產品通過感測器和控制晶片來捕捉和 處理資訊，可以根據住宅空間環境和使用者需求自動設定控制，甚至提出優化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。