大資料教程之大資料的影響二

　　好程式設計師大資料培訓分享 大資料 的影響二， 3 、 大資料對社會發展的影響 ， 大資料將會對社會發展產生深遠的影響，具體表現在以下幾個方面：大資料決策成為一種新的決策方式；大資料應用促進資訊科技與各行業的深度融合；大資料開發推動新技術和新應用的不斷湧現。

　　 （1）大資料決策成為一種新的決策方式

　　 根據資料制定決策，並非大資料時代所特有。從20世紀90年代開始，資料倉儲和商務智慧工具就開始大量用於企業決策。發展到今天，資料倉儲已經是一個整合的資訊儲存倉庫，既具備批次和週期性的資料載入能力，也具備資料變化的實時探測、傳播和載入能力，並能結合歷史資料和實時資料實現查詢分析和自動規則觸發，從而提供對戰略決策（如宏觀決策和長遠規劃等）和戰 術決策（如實時營銷和個性化服務等）的雙重支援。但是，資料倉儲以關聯式資料庫為基礎，無論是資料型別還是資料量方面都存在較大的限制。現在，大資料決策可以面向型別繁多的、非結構化的海量資料進行決策分析，已經成為受到追捧的全新決策方式。比如，政府部門可以把大資料技術融入“輿情分析”，透過對論壇、微 博、微 信、社群等多種來源資料進行綜合分析，弄清或測驗資訊中本質性的事實和趨勢，揭示資訊中含有的隱性情報內容，對事物發展做出情報預測，協助實現政府決策，有效應對各種突發事件。

　　 （2）大資料應用促進資訊科技與各行業的深度融合

　　 有專家指出，大資料將會在未來10年改變幾乎每一個行業的業務功能。網際網路、銀行、保險、交通、材料、能源、服務等行業領域，不斷累積的大資料將加速推進這些行業與資訊科技的深度融合，開拓行業發展的新方向。比如，大資料可以幫助快遞公司選擇運費成本最低的最佳行車路徑，協助投資者選擇收益最大化的股票投資組合，輔助零售商有效定位目標客戶群體，幫助網際網路公司實現廣告精準投放，還可以讓電力公司做好配送電計劃確保電網安全等。總之，大資料所觸及的每個角落，我們的社會生產和生活都會因之而發生巨大而深刻的變化。

　　 （3）大資料開發推動新技術和新應用的不斷湧現

　　 大資料的應用需求，是大資料新技術開發的源泉。在各種應用需求的強烈驅動下，各種突破性的大資料技術將被不斷提出並得到廣泛應用，資料的能量也將不斷得到釋放。在不遠的將來，原來那些依靠人類自身判斷力的領域應用，將逐漸被各種基於大資料的應用所取代。比如，今天的汽車保險公司，只能憑藉少量的車主資訊，對客戶進行簡單類別劃分，並根據客戶的汽車出險次數給予相應的保費優惠方案，客戶選擇哪家保險公司都沒有太大差別。隨著車聯網的出現，“汽車大資料”將會深刻改變汽車保險業的商業模式，如果某家商業保險公司能夠獲取客戶車輛的相關細節資訊，並利用事先構建的數學模型對客戶等級進行更加細緻的判定，給予更加個性化的“一對一”優惠方案，那麼，毫無疑問，這家保險公司將具備明顯的市場競爭優勢，獲得更多客戶的青睞。

　　 4　大資料對就業市場的影響

　　 大資料的興起使得資料科學家成為熱門職業。2010年的時候，在高科技勞動力市場上還很難見到資料科學家的頭銜，但此後，資料科學家逐漸發展成為市場上最熱門的職位之一，具有廣闊發展前景，並代表著未來的發展方向。

　　 網際網路企業和零售、金融類企業都在積極爭奪大資料人才，資料科學家成為大資料時代最緊缺的人才。據麥肯錫預測，在未來幾年內，僅美國本土就可能缺少14萬～19萬具備資料深入分析能力的專業人才，能夠透過分析大資料支撐企業做出有效決策的資料管理人員和分析師，也大概存在150萬人的缺口。

　　 根據中橋調研諮詢2013年7月針對中國市場的一次調研結果顯示，中國使用者目前還主要侷限在結構化資料分析方面，尚未進入透過對半結構化和非結構化資料進行分析、捕捉新的市場空間的階段。但是，大資料中包含了大量的非結構化資料，未來將會產生大量針對非結構化資料分析的市場需求，因此，未來中國市場對掌握大資料分析專業技能的資料科學家的需求會逐年遞增。

　　 儘管有少數人認為，未來有更多的資料會採用自動化處理，會逐步降低對資料科學家的需求，但是，仍然有更多的人認為，隨著資料科學家給企業所帶來的商業價值的日益體現，市場對資料科學家的需求會越發旺盛。

　　 5　大資料對人才培養的影響

　　 大資料的興起，將在很大程度上改變中國高校資訊科技相關專業的現有教學和科研體制。一方面，資料科學家是一個需要掌握統計、數學、機器學習、視覺化、程式設計等多方面知識的複合型人才，在中國高校現有的學科和專業設定中，上述專業知識分佈在數學、統計和計算機等多個學科中，任何一個學科都只能培養某個方向的專業人才，無法培養全面掌握資料科學相關知識的複合型人才。另一方面，資料科學家需要大資料應用實戰環境，在真正的大資料環境中不斷學習、實踐並融會貫通，將自身技術背景與所在行業業務需求進行深度融合，從資料中發現有價值的資訊，但是，目前大多高校還不具備這種培養環境，不僅缺乏大規模基礎資料，也缺乏對領域業務需求的理解。鑑於上述兩個原因，目前國內的資料科學家人才並不是由高校培養的，而主要是在企業實際應用環境中透過邊工作邊學習的方式不斷成長起來的，其中，網際網路領域集中了大多數的資料科學家人才。

　　 在未來5～10年，市場對資料科學家的需求會日益增加，不僅網際網路企業需要資料科學家，類似金融、電信這樣的傳統企業在大資料專案中也需要資料科學家。由於高校目前尚未具備大量培養資料科學家的基礎和能力，傳統企業很可能會從網際網路行業“挖牆角”，來滿足企業發展對資料分析人才的需求，繼而造成用人成本高企，制約企業的成長壯大。因此，高校應該秉承“培養人才、服務社會”的理念，充分發揮科研和教學綜合優勢，培養一大批具備資料分析基礎能力的資料科學家，有效緩解資料科學家的市場缺口，為促進經濟社會發展做出更大貢獻。

　　 高校培養資料科學家人才需要採取“兩條腿”走路的策略，即“引進來”和“走出去”。所謂“引進來”，是指高校要加強與企業的緊密合作，從企業引進相關資料，為學生搭建起接近企業應用實際的、模擬的大資料實戰環境，讓學生有機會理解企業業務需求和資料形式，為開展資料分析奠定基礎，同時，從企業引進具有豐富實戰經驗的高階人才，承擔起資料科學家相關課程教學任務，切實提高教學質量、水平和實用性。所謂“走出去”，是指積極鼓勵和引導學生走出校園，進入網際網路、金融、電信等具備大資料應用環境的企業去開展實踐活動，同時，努力加強產、學、研合作，創造條件讓高校教師參與到企業大資料專案中，實現理論知識與實際應用的深層次融合，鍛鍊高校教師的大資料實戰能力，為更好培養資料科學家人才奠定基礎。

　　 在課程體系的設計上，高校應該打破學科界限，設定跨院系跨學科的“組合課程”，由來自計算機、數學、統計等不同院系的教師構建聯合教學師資力量，多方合作，共同培養具備大資料分析基礎能力的資料科學家，使其全面掌握包括數學、統計學、資料分析、商業分析和自然語言處理等在內的系統知識，具有獨立獲取知識的能力，並具有較強的實踐能力和創新意識。