CC視訊CTO慄偉:CDN系統架構及CC視訊應用實踐

weixin_33806914發表於2017-12-21

2017 年 11 月9日,CC視訊獲2.08 億元C輪融資。 EGO 北京分會會員、CC視訊CTO慄偉獲邀作為 EGO 線上分享第三季嘉賓,與大家交流了CDN系統架構及CC 視訊的應用實踐。

\\

技術出身的慄偉曾在中科院計算機技術研究所和藍訊公司從事多年網路儲存和CDN技術等工作,2014年加入CC視訊,在CDN和視訊編解碼技術方向頗多建樹。

\\

作為一站式場景化視訊解決方案服務商,CC視訊在經歷12年企業級視訊雲服務的探索,已經擁有了視訊雲點播、雲直播、雲加速、雲互動的完整產品線,為整個視訊領域提供全方位服務。線上教育領域的大型企業大多都是CC視訊的重度使用者。憑藉領先的雲端計算技術和專業的視訊處理經驗,CC視訊已經積累了包括新東方、好未來華圖、新東方、達內、尚德、清華大學、萬國、學堂線上、寶寶樹、好醫生、海馬玩、螞蜂窩、SMG集團、36氪、財新網、鳳凰網、上海通用、唱吧、廣聯達等18000+眾多知名企事業單位的首選合作品牌。

\\

作為CDN架構的專家,慄偉首先向大家介紹了基於DNS解析的CDN工作原理。通過利用DNS的CNAME特性和CDN的回源原理,CDN廠商實現了使用者流量的排程,同時也解決了內容快取和源站保護的問題。

\\

CDN的系統架構

\\

慄偉認為,一個完整的CDN系統應包含幾大系統:使用者服務系統、運營支撐系統、流量排程系統、邊緣服務系統、業務支撐系統、綜合監控系統和基礎服務支撐平臺。

\\

基於DNS智慧排程的流量排程系統相當於CDN的大腦。一個合格的流量排程系統需要達成幾個目標:一個是保障服務質量,能夠將使用者請求排程到離使用者最近最優的節點,第二個是合理排程,提高資源的利用率。慄偉強調,流量排程系統是衡量一個CDN企業好壞的重要標準。

\\

邊緣服務系統真正響應使用者的HTTP或HTTPS請求,它和服務質量密切相關。一個邊緣服務系統應該分成以下幾個層次:一個是在7層,或者是在4層做一個負載均衡系統;第二個是Cache的快取模組。

\\

慄偉指出,目前業界比較成熟的邊緣服務系統架構是使用LVS做4層負載均衡給使用者提供服務,再通過Haproxy/Nginx做7層負載均衡,最終把使用者請求定位到Cache快取模組,在Cache快取模組上提供服務。企業使用者經常會有頻繁的定製化需求,因此Cache的功能開發非常頻繁,而其本身的程式碼複雜度較高,部署面積較大,導致整個系統的穩定性面臨很大挑戰。

\\

運營支撐系統跟整個運營相關,它包括運營資源、運營排程的管理,比如裝置管理、DNS跟裝置的對應關係、內容重新整理、日誌處理、以及檔案的分發處理等。

\\

CDN會快取部分使用者內容,在快取時間內出現變更,就需要回源校驗和內容重新整理。在這一過程中,重新整理全網更新時間和刷系統處理能力都是整個重新整理系統的重要指標。慄偉指出,每日重新整理系統處理能力至少要在一千萬條以上才能應對大客戶的重新整理要求。在日誌處理和檔案分發方面,日誌的全網收集、壓縮處理、同步分發、區域提供、日誌分析等,也都要求CDN公司必須具備極強的處理能力。

\\

對於一箇中型的CDN系統來說,監控系統也非常重要。如何在一個擁有上萬臺伺服器的CDN上,及時發現裝置級別或節點層面的伺服器故障都和監控系統息息相關。慄偉指出,一個合格的監控系統應支援多層次的告警策略,包括裝置層級告警、節點層級告警、業務層級告警乃至整個服務系統層級的告警。把這些告警通過圖形化的形式顯示出來,能夠準確看到全網CDN的服務情況。

\\

為什麼還需要基礎支撐平臺?慄偉介紹,基礎支撐平臺在底層進行基於CentOS優化裁剪、TCP協議棧優化,並在OS上安裝一組應用軟體,從而為應用軟體提供管理介面和分發介面,支撐裝置管理、日誌管理和收集,從而方便統一部署和運維。

\\

CDN產品及作用

\\

使用CDN可以達到怎樣的效果?慄總從三個方向表達了自己的觀點。

\\
  1. 全業務加速,包括HTTP的訪問加速,下載加速、點播加速和直播加速等。視訊內容、下載內容均可通過CDN進行分發、承載和加速。\\t
  2. 降低成本。對於流量成本較高的企業,CDN可顯著降低頻寬成本,降低支撐運維建設成本和維護成本。\\t
  3. 安全運營。CDN使得整個運營更平穩,網路攻擊和網路風險大幅降低,精準的分析、故障的恢復,也都是CDN產品所具備的價值。\

CC視訊產品對CDN技術的應用

\\

CC視訊的直播、點播產品使用的都是CC視訊獨立研發的CDN技術。

\\

直播方面,利用CDN自身的高承載能力的特性,CC視訊將CDN作為直播系統的一個主要模組,所有直播流均推入CDN邊緣服務系統,所有對於直播流的觀看都通過CDN去做。同時,CC視訊還提供第三方CDN接入服務,一旦CDN出現故障,可隨時將直播流推送到第三方CDN,不會對直播產生影響。

\\

慄偉指出,CDN系統對整個直播承載能力的提升幫助非常大。CC視訊曾測試,20萬併發可平穩通過CDN,幾乎不會對其直播產品造成壓力。在這個架構中,關於資料庫的同步也讓CC視訊引以為傲。CC提供了資料庫內容的備份,一旦出現故障,可實時同步切換主節點和備節點的資料庫,從而保證資料褲至少有兩份資料,確保資料不丟失。

\\

點播架構同直播類似,也同時提供主、備節點,包含上傳和轉碼兩個子系統。CC視訊對上傳系統進行了諸多優化,在全國部署了三個BGP節點,包括北京、上海、深圳,基本覆蓋全國,保證使用者可就近上傳。

\\

CC視訊點播產品中的轉碼系統、儲存系統、監控系統和統計系統也都在不同程度上運用了CDN技術,大容量儲存裝置與分散式檔案系統架構結合搭建儲存系統,基於open falcon二次開發實時監測磁碟級到應用層故障,大資料統計分析使用者資料包表等。同時,點播的分發也採用了與第三方CDN相結合的方式。

\\

最後,慄偉還為大家分享了CDN的特殊用法,如使用HTTPS協議和CDN全站加速、動態內容穿透相結合來降低網路劫持、提高系統連通率等。目前CC視訊的雲直播、雲點播、雲互動產品都在使用CDN做動態內容穿透,效果明顯。“CC視訊將一如既往以匠心打造視訊產品,歡迎各位朋友攜手CC共贏美好未來。”他最後總結。

\\

關於 EGO

\\

聯結傑出的技術領導者學習和成長,是 EGO 不變的使命。 EGO 目前已經匯聚了全國超過450 餘位頂尖的技術領導者,包括喜馬拉雅FM CTO陸棟棟、滬江 CTO唐小浙、易觀CTO郭煒、貨車幫CTO馮亮、愛範兒CTO何世友、TalkingData CTO 肖文峰、餓了麼 CTO 張雪峰、GrowingIO CTO 葉玎玎、CC 視訊 CTO 慄偉、啟贇金融 CTO 馬連浩、咿啦看書 CTO 褚亮等都是 EGO  的付費會員。

\\

EGO 會員招募季第三季正在進行,現在報名加入EGO 。

相關文章