最硬核、最大咖、最火爆…百度首次揭祕春晚紅包背後的技術細節

pythontab發表於2019-04-04

今天,有一群程式設計師像往常一樣穿梭在西二旗的地鐵,不一樣的是他們在奔赴一場大咖分享、硬通貨十足的“技術盛宴”。4月4日,以“揭祕春晚紅包背後的技術”為主題的第七屆百度技術開放日舉行。一如往年,開放日現場十分火爆,吸引了來自英特爾、IBM、清華、北航、北科大等產學研用機構的專家、學者和技術愛好者,500餘人的會場座無虛席,過道也站滿了人。

百度高階副總裁、AI技術平臺體系(AIG)和基礎技術體系(TG)總負責人王海峰

春晚紅包專案對百度而言是一次大考,背後是強大的技術積累。現場,百度高階副總裁、AI技術平臺體系(AIG)和基礎技術體系(TG)總負責人王海峰在致辭中表示,“春晚紅包專案的成功,是百度綜合技術實力的成功,是多年來在雲端計算、大資料、人工智慧等多方面的技術積累,以及春節前一個多月時間大家共同努力的成果。百度在積累和提升技術實力的同時,也致力於技術的平臺化。我們所有的技術不僅僅要滿足特定產品的業務需求,也要把平臺化做得更好。我們整合基礎技術體系和AI技術平臺體系,打造百度在AI時代的技術平臺,加強平臺化當中技術平臺的能力。這樣的話,百度的技術一方面更加靈活高效地服務於百度自己的業務,同時我們也希望把這些技術與社會各界,尤其是我們的合作伙伴、開發者朋友以及學術界分享,我們一起推動技術的進步,也推動社會的進步。”

技術分享環節,侯震宇率先為在場觀眾詳解保障整場春晚專案不當機的技術“頂層設計”。他指出在時間短、技術難、場景複雜、要求高四大挑戰的情況下,百度春晚搶紅包環節的流暢進行,得益於百度全系統全鏈路的優化設計、優良技術積累的護航、以及大規模工程能力的保障。

百度副總裁 侯震宇

百度技術委員會理事長陳尚義表示,技術開放日始於2012年,是百度與合作伙伴、開發者、學術和產業研究機構之間的交流平臺。

百度技術委員會理事長陳尚義

全系統全鏈路的優化設計:整體架構設計與優化、統一前端接入優化、極端併發的資料庫優化

春晚極端併發場景是對技術實力最高階別的檢驗。春晚直播期間,數億使用者參與互動,每秒鐘千萬級併發請求,全球觀眾參與百度春晚紅包互動次數達208億。基於此,百度在這次春晚紅包專案架構設計中採用的是以大化小、隔離、彈性、智慧、動態、自愈,同時高效控制總成本的設計理念。

在架構設計方面,百度架構師及工程師將整體系統拆解成四大業務系統和大量基礎設施與服務。為了提升觀眾參與的質量,百度提出了多項具有針對性的優化方案。在春晚紅包環節,觀眾可以通過搖一搖、資訊流、視訊、語音、搜尋等多樣化形式參與。

除了這些基本的架構設計與優化外,還有統一前端接入優化、安全防攻擊、資源協調和動態排程能力,全鏈路壓測與攻防,以及內測、預案與劇本等關鍵技術和方案,才保證了春晚“如絲般順滑”的搖紅包體驗。

據介紹,BFE(百度統一前端)是百度統一的七層流量轉發平臺。在春晚紅包專案中,BFE是IDC流量的統一入口,提供流量排程、接入轉發、限流、應用層防火牆等能力。每日轉發請求數接近1萬億。基於BFE的快速開發能力,可以通過將部分業務邏輯前置到BFE,降低了整體的系統開銷。同時基於自研專用流式計算系統,提供實時報表能力,在億級別流量下可以實時反饋系統狀況。

在春晚紅包活動中,資料庫服務處於業務鏈路的最底層,具有相當重要的作業,對其穩定性、可靠性及併發能力提出了更高的要求和需求。百度DBA十多年的探索和沉澱,形成的完整的資料庫技術體系和解決方案,從架構上完美適配春晚專案的業務需求,通過set化等關鍵技術方案,達到對業務透明且靈活擴充套件、故障最小化隔離能力;在流量管控上,基於流量畫像能力,結合安全檢測及攔截能力、多維度多層級流控能力,達到對整體服務的過載保護和安全防護能力,能有效保障整體服務的可用性、資料的安全性,達到資料庫千萬級QPS處理能力;最後結合近百項的劇本及自動監控預案措施,進一步加固了春晚資料庫服務保障能力,助力春晚活動順利進行。

優良技術積累的護航:服務的混部排程、彈性的資源供給、極速穩定的CDN服務

春晚期間,億級別使用者同時啟動,上億的使用者同時與百度雲服務發起建連;相較於以往簡單的搖一搖,這次使用者同時訪問的業務覆蓋搜尋、推薦、語音、視訊等複雜業務。兩週時間內要實現數萬級別規模伺服器的資源快速籌備與使用方案制定。

技術方案上,重點通過百度雲叢集內部全混部,利用叢集流轉支援,滿足春晚活動資源需求。混部排程意味著選擇合適資源,部署合適任務,並做好安全的隔離與服務保護機制。百度春晚活動服務混部排程採用BestEffort(BE)模式,彈性使用全百度雲的叢集資源。BE模式對原正常業務實現了無侵入使用,滿足了春晚服務提前進場與快速便捷退場的需求,順利通過了活動的多輪壓測工作與最終線上的效率與質量考驗。同時圍繞潛在問題場景,設計了秒級彈性伸縮的方案,為潛在的未知春晚力量做足萬全準備。

百度雲的媒體雲平臺是一個涵蓋了視訊/圖片類資料的採集、生產、上傳、儲存、處理、分發、播放的一體基礎設施雲平臺,具備國內最大的萬億檔案千P資料的儲存、每天千萬級媒資處理、數百節點50T+頻寬的分發網路和一站式智慧視訊解決方案。

QQ圖片20190405160842.jpg

大規模工程能力的保障:高效的工程能力、自動化、自助化壓測平臺、全要素鏈路壓測與攻防

春晚紅包專案涉及數十個產品和平臺,110+種場景,280+個預案,百餘團隊參與,上千人協同,平均每天新增需求和任務千餘個,自動化測試上萬次。在如此大規模協同開發的挑戰下,春晚紅包專案能夠高效、高質量交付,離不開百度長期積累的技術文化和工程能力、集團統一的工程標準和研發規範、可靠高效的開發工具和協作平臺。同時百度釋出了《百度方法+白皮書》、《百度工程能力白皮書》,並開放了“百度效率雲”DevOps工具平臺,與業界共享工程能力建設經驗,共同推進工程效能的提升。

再好的架構設計,也需要上戰場真實規模演練,絕不能讓系統未經驗證而直面使用者。春晚藍軍就是這樣一支隊伍,負責為春晚系統製造各種麻煩。首當其衝的就是全要素全鏈路壓測,用來模擬真實使用者行為,構造大於春晚極限併發的壓力洪峰,驗證從供電、網路等基礎設施,到上層軟體架構的服務能力。據介紹,壓測的核心是要摒棄正向思維模式,強調機械的覆蓋與驗證,不放過任何一個“絕對不會出問題”的環節。與此同時,為了驗證春晚系統應對異常的能力,百度主動構造隨機異常。基於對高可用架構的豐富經驗,百度架構師專門選取系統的“七寸”發起主動攻擊,來驗證系統的架構容災能力和應急指揮機制。

不難看出,百度多方面聯動以技術之力在春晚“戰場”打了漂亮的一仗。去年12月,百度宣佈將基礎架構、集團級共享平臺、運維等整合到“TG”(基礎技術體系),希望能夠集中核心技術優勢,打造AI時代最領先的技術平臺,實現前端業務和技術平臺資源高效統籌及全面協同,強化集中資源“打大仗、打硬仗”的能力。百度架構調整後的成果,已在春晚舞臺上得到了最好的驗證。

未來,技術開放日將持續為各界技術關注者帶來最新的技術進展,希望與大家共享百度的技術創新,共同推動技術進步。


相關文章