中國大資料產業起步晚,發展速度快。物聯網、移動網際網路的迅速發展,使資料產生速度加快、規模加大,迫切需要運用大資料手段進行分析處理,提煉其中的有效資訊。
大資料行業發展規模分析
中國大資料產業起步晚,發展速度快。物聯網、移動網際網路的迅速發展,使資料產生速度加快、規模加大,迫切需要運用大資料手段進行分析處理,提煉其中的有效資訊。2014年,中國大資料市場規模達到767億元,同比增長27.8%。預計到2020年,中國大資料產業規模將達到8228.81億元。2015-2017年複合增長率為51.5%。2014年,中國大資料應用市場規模為80.54億元,同比增長3.2%,2015年市場規模約增長37.3%,至110.56億元,預計到2020年,中國大資料應用市場規模將增長至5019.58億元。2015-2017年複合增速為87.8%。
大資料應用於智慧交通產業
當智慧交通遇到大資料,如同二氧化錳在製取氧氣的實驗中作為催化劑一樣,一場劇烈的化學反應加劇了兩方的共同發展。
隨著城市的迅速發展,交通擁堵、交通汙染日益嚴重,交通事故頻繁發生,這些都是各大城市亟待解決的問題。智慧交通成為改善城市交通的關鍵所在。為此,及時、準確獲取交通資料並構建交通資料處理模型是建設智慧交通的前提,而這一難題可以通過大資料技術得到解決。
1、智慧交通需求與大資料契合
智慧交通整體框架主要包括物理感知層、軟體應用平臺及分析預測及優化管理的應用。其中物理感知層主要是對交通狀況和交通資料的感知採集;軟體應用平臺是將各感知終端的資訊進行整合、轉換處理,以支撐分析預警與優化管理的應用系統建設;分析預測及優化管理應用主要包括交通規劃、交通監控、智慧誘導、智慧停車等應用系統。
系統利用先進的視訊監控、智慧識別和資訊科技手段,增加可管理空間、時間和範圍,不斷提升管理廣度、深度和精細度。整個系統由資訊綜合應用平臺、訊號控制系統、視訊監控系統、智慧卡口系統、電子警察系統、資訊採集系統、資訊釋出系統等組成。以達到四方面的目標:提高通行能力、減少交通事故、打擊違章事件、出行資訊服務。
整個系統建設的核心是資料的採集、儲存與計算,而其中最重要的核心思想就是“資料是價值”。問題就是如何把資料轉換成價值。這就成為一個技術問題。
從統計學的角度,任何領域任何動態發展的事物,只要有足夠多的樣本資料,就一定能從樣本資料中找到動態發展的規律。資料越多,準確率越高。這個“規律”就是資料的價值所在。對於商業機構,可以分析使用者行為規律從而提高銷售量;分析目標市場規律,定點投放廣告從而降低成本等等;對於公安行業,可以分析區域性犯罪趨勢,提前預防從而降低犯罪率;還可以分析交通行為規律,提前做交通疏導,提高交通通暢率,這就能真正挖掘資料的潛在價值,提高其社會價值。
從20世紀初的網路發展以來,進入一個高度聯網的階段。聯網的同時,資料高度集中,資料量急劇增加。據IDC報告現在網際網路的資料,每兩年就翻一番。這個增長率在智慧交通行業同樣有效,隨著卡口、電警、攝像機數量的增加,高清化、智慧化的發展,如果再算上物聯網的各種感測器,未來幾年的資料量增加可能大大高於這個增長率。這就為智慧交通行業實現大資料提供了資料基礎。
從各種各樣型別的資料中,快速獲得有價值資訊的能力,就是大資料技術。由此我們再看IBM歸納的4個V(量Volume,多樣Variety,價值Value,速Velocity):
(1)Volume資料體量巨大。從TB級別,躍升到PB級別;
(2)Variety資料型別繁多。包括視訊、圖片、地理位置資訊、感測器資料等等。
(3)Value價值密度低,應用價值高。以視訊為例,連續不間斷監控過程中,可能有用的資料僅僅有一兩秒。
(4)Velocity處理速度快,1秒定律。
最後這一點也是和傳統的資料探勘技術有著本質的不同。在交通領域,海量的資料主要包括4個型別的資料:感測器資料(位置、溫度、壓力、影像、速度、RFID等資訊);系統資料(日誌、裝置記錄、MIBs等);服務資料(收費資訊、上網服務及其他資訊);應用資料(生成廠家、能源、交通、效能、相容性等資訊)。交通資料的型別繁多,而且體積巨大。量Volume和多樣Variety是因,資料型別的複雜和資料量的急劇增加,決定了原有簡單因果關係的應用模式對資料使用率極低,完全無法發揮資料的作用;速Velocity是過程,巨大的運算量決定了速度必須快;價值Value是最終的果。
2、大資料採集
在各城市建設智慧交通的過程中,將產生越來越多的視訊監控、卡口電警、路況資訊、管控資訊、營運資訊、GPS定位資訊、RFID識別資訊等資料,每天產生的資料量可以達到PB級別,並且呈現指數級增長。
3、大資料增值應用
深入挖掘資料價值,在智慧交通、公安實戰等行業上推出車輛軌跡、道路流量、案件聚類等大資料模型。基於大資料模型,推出智慧套牌、智慧跟車分析、軌跡碰撞、人臉比對、輿情分析等資料增值應用,逐步解決行業的深層次問題。
4、海量資料計算
通過雲端計算叢集,實現對海量資料的分散式高速計算,支撐對海量資料的高效分析挖掘。雲端計算叢集是一種M/S架構的分散式計算系統,Master作為排程管理伺服器,負責計算任務分解與排程、計算資源統一管理。Slave則由大量的計算伺服器組成,負責完成Master下發的計算任務。
5、海量資料檢索
基於行業資料查詢特點,對搜尋引擎進行優化定製,支援百億記錄的秒級高速查詢。通過叢集機制,實現搜尋服務的高可靠性、高容錯性、高擴充套件性。
6、海量資料儲存
對於海量資料儲存,採用HBase分散式儲存系統。相比傳統關係型資料庫,有四個特點:資料格式靈活、高可用、橫向擴充套件能力強和訪問高效。
同時能夠做到無縫整合,快速從關係型資料庫匯入已經存在的歷史資料。提供高可靠性、高容錯性、高效能的海量資料儲存解決方案,支援無縫容量擴充套件。
7、大資料分析與應用
高效的雲端計算能力,帶來千億資料的秒級返回的檢索能力,為大資料分析應用,提供了快速的保障。基於深度學習的智慧分析演算法,為大資料分析應用提供有力的工具。交通大資料的分析,為交通管理、決策、規劃、服務以及主動安全防範帶來更加有效的支援。
利用大資料技術,結合高清監控視訊、卡口資料、線圈微採集波資料等,再輔以智慧研判,基本可以實現路口的自適應以及訊號配時的優化。通過大資料分析,得出區域內多路口綜合通行能力,用於區域內多路口紅綠燈配時優化,達到提升單一路口或區域內的通行效率。如根據平日/節假日,早、晚高峰/其他時段,主要幹道關鍵路口/次關鍵路口/普通路口,白天/夜間等不同情況,人工或系統自動設定不同的配時,達到大幅提高區域內交通通行能力。
大資料分析研判功能,還可以支援對卡口資料、視訊監控資料進行二次識別,提高車輛資訊的準確性,進而利用大資料實現軌跡分析、落腳點分析、隱匿車輛分析等功能。對車輛大資料進行深入挖掘,實現事前全面監控、事中及時追蹤、事後準確回溯的不同場景需求。常州市建設的車輛大資料平臺,協助有關部門每天自動發現套牌車輛10餘起,再根據車輛的軌跡分析和落腳點分析,快速找到套牌車輛進行處罰管理。
結合智慧演算法,二次識別等功能,可以更準確的識別車牌、車身顏色、車型、車標、年款等特徵,並且對遮陽板檢測、安全帶檢測、接打電話檢測、司機人臉識別等進行分析。
利用智慧交通的管理系統,可以獲取道路天氣、施工情況、事故情況、結合大資料分析,為出行司機和交管部門提供天氣、路面狀況、事故易發地點、停車場等資訊,並根據車輛目的地、行駛習慣,路面情況推薦行駛路線。