原副廠技術聯動助力安徽電信數字業務升級

行業  
運營商

支援的業務應用  
·   網路管理和最佳化，包括基礎設施建設最佳化和網路運營管理和最佳化；

·   市場與精準營銷，包括客戶畫像、關係鏈研究、精準營銷、實時營銷和個性化推薦；

·   客戶關係管理，包括客服中心最佳化和客戶生命週期管理。

·   企業運營管理，包括業務運營監控和經營分析。

·   資料商業化指資料對外商業化。

影響  
·   消除資料訪問瓶頸和發現使用者使用習慣，開展更有針對性的營銷。
·  Hbase管理賬單資料，海量使用者隨機查和響應得到保證。

使用的技術  
·   Cloudera 商業版
·  使用的元件：cloudera manager 、hbase、 kudu、yarn、hive、hdfs、sentry、kerberos、spark等

大資料規模  
400+ 生產性CDH節點

01

問題診斷

 

傳統資料倉儲無法有效儲存日益增長的業務資料
隨著運營商業務資料量的增加，同時伴隨應用複雜導致的資料量的進一步增加，海量的資料增加了運營商業務系統資料儲存和處理壓力；而資料倉儲無法線性擴容，導致運營商資訊系統出現管理難度加大、成本高、擴容壓力大、效率下降等問題。運營商的使用者上網記錄資料量巨大，之前採用的方案是在閘道器上使用者流量必經地方採集，分析流量資料，然後生成上網記錄話單，話單量非常大。

 

傳統資料倉儲無法有效處理新型的業務資料
運營商對於電子渠道越來越重視，現在很多的業務直接在網站就可以辦理， 使用者可以定製一些電信業務，或者進行查詢。所有使用者在網站上的這些行為，其實也是一定程度上的執行測試行為。運營商以前做的分析，主要都是關於客戶交費是否及時、信用度是否較好，但並沒有把網站上的使用者關注度或行為特點記錄下來。如果將這部分資料跟原有的資料庫進行整合分析，就能將使用者個人的購買行為輪廓真正地描繪出來。，其資料都是文字、圖片或影片等非結構化資料，不同於傳統通訊業務分析特點，需要對內容等非結構化、大容量資訊進行有效分析，傳統的架構處理難以應付。現在透過一些技術手段逐漸可以實現和逐漸完善。

 

分散建設的系統和標準化程度較低的資料急需大資料平臺統一管理
運營商當前很多業務系統建設分散，難以實現資源和應用的共享。經營分析、信令監測、綜合網路分析、不良資訊監測、上網日誌留存等大資料系統分專業建設，其中部分系統分省建設，造成資源重複建設、應用重複開發、專家資源無法共享。另外，資料的分散儲存、標準化缺失是運營商面臨的一個重大問題，各大資料系統資料模型不統一，跨系統綜合分析需求不斷增加。難以滿足業務發展的需要。高可擴充套件的、成本低的新的大資料架構成為重要方向。 

 

融合架構下的集中化商業智慧平臺需要大資料提供資料和營銷支援
運營商實施資料管理和分析的一個重要平臺是商業智慧平臺，隨著資料量的激增以及客戶營銷定位要求提升，具備集中化的、強大擴充套件性和高可用性的商業智慧系統平臺構建成為運營商基於大資料應用的關鍵一環。比如，運營商一方面要求商業智慧平臺支援海量結構化及非結構化資料分析挖掘，此外，結合使用者上網日誌及網際網路網頁內容，為精準行銷提供使用者行為偏好分析；為網際網路業務發展提供大趨勢及業務競品分析能力。由於集中化建設，集中化 BI 系統將面臨著資料規模大、資料處理複雜、混合負載多樣等多種挑戰，傳統的單一資料倉儲技術難以滿足，需要引入大資料技術。 

 

02

解決方案

 

採用cloudera多租戶企業大資料平臺，對內業務提升、運營最佳化以消費者為中心，開展使用者行為模式的分析與資料探勘，支撐各類資料應用，包括基礎設施建設和網路運營管理最佳化，挖掘新業務並實現精準營銷，客戶服務最佳化、企業運營決策支援等。

對外提供資料服務運營商整合資料，透過資料探勘脫敏生成結果資料集，提供給企業客戶，幫助企業瞭解使用者，提高競爭力，包括精準廣告、資料包告、精準營銷、能力開放和能力租用等。

整體部署架構：

·   使用mapreduce和spark來進行資料的轉換和處理；
·  使用hbase來管理海量資料;
·  使用hive impala kudu等對資料進行分析處理; 
·  使用flink進行流式處理。

 

03

服務內容

 

基礎運維
包括平臺監控、叢集巡檢、資料備份遷移：hbase資料遷移，hive資料遷移。

疑難問題解決  
·   hive canary 指標高，hive metastore連線緩慢,後設資料同步異常，造成任務的失敗，業務層面無法完成對資料的分析，影響資料的釋出如月末計費。
·  sentry授權無法同步為hdfs acl許可權，業務層面每次對錶資料進行處理時需要重複授權，降低處理的時效性。
·  hbase 長時間rit情況，業務層面hbase表無法訪問，話單表單，實時展示的資料延遲。
·  ha情況下NAMENODE備節點無法checkpoint合併後設資料，業務層面如果namenode的當機可能導致叢集不可用，各類計算都不能正常進行。
·  叢集使用cm管理節點管理叢集，運維人員手動通 過cm頁面指標或者後臺指標對叢集進行巡檢重複工作，工作效率低
·  叢集使用多租戶的方式，cm沒有多租戶的統一管理介面，配置多租戶流程較為複雜重複事情耗時長。

高階調優

·   基準效能指標提取統計：hdfs jmx指標hbase指標，hive執行緒網路流量等進行分析，深度最佳化，提高叢集的效能。
·  平臺升級/安全加固：平臺從cdh5.9升級到cdh5.14方案確認及實施；平臺各關鍵元件web介面安全加固方案設計；
namenode後設資料遷移方案；資料傾斜情況整改方案。 
·  叢集擴容：叢集橫向擴容降低對業務的影響方案設計。
·  叢集效能調優：hbase表資料，表分佈，表數量，進行整改，降低長時間rit發生率。

04

最佳化效果

 

·   關鍵資料彙總及時性提升15% ；
·  叢集因惡意攻擊造成重大事故為零；
·  叢集及元件健康度顯著提高； 
·  因操作失誤造成的生產事故為零； 
·  叢集穩定性顯著提高。

 

關於碧茂

碧茂科技作為專業大資料解決方案服務商，致力於國家數字化轉型戰略。在中科院上海計算技術研究所的引領下，引進國外先進技術和行業解決方案。與Cloudera、華為、星環等廠商密切合作。為客戶提供從系統架構、資料治理到人才培養，全生命週期的技術支援，構建更穩定、更高效、更安全的企業級大資料平臺。