以下文章來源於InfoQ ,作者InfoQ
發展十餘年,騰訊雲技術演進的底層變遷邏輯是什麼?低程式碼會不會是雲端計算下一個風口?未來十年,開發者面對的技術世界是什麼樣子?
本期 C 位面對面,我們有幸邀請到了騰訊雲高階副總裁、騰訊雲 CTO 王慧星。他加入騰訊十七年,從騰訊 QQ、QQ 空間等社交平臺後臺海量技術架構的重要設計者到今天的騰訊雲 CTO,他在騰訊這些年經歷了太多次技術變遷。如今面對上述業內焦點問題,他的理解又是什麼呢?
十年激盪,騰訊雲技術變遷史
從2010年騰訊推出開放戰略,同年成立雲平臺部,也就是騰訊雲雛形至今,騰訊雲已經穩定服務超過10年。在此期間,又以2018年的9月30日的騰訊組織架構調整影響最為深遠,騰訊方面曾把這次調整定義為一次面向未來的進化,邁向下一個20年的主動革新與升級迭代。自然,這場變革產生的影響時至今日都受到外界的強烈關注。
從產業端看,這場變革讓騰訊將未來的戰略焦點正式從消費網際網路轉向產業網際網路。至今,已經過去1000余天,這場風久吹未落。
從海量之道到雲上生長
騰訊在消費網際網路層面的積累,大家有目共睹,海量業務群雄並起,以QQ空間、Qzone、開心農場等為代表的億級應用比比皆是。
曾經負責過Qzone架構設計的王慧星很早就經歷過了儲存爆炸式增長,如果把微信和QQ聊天中日均產生的圖片計算在內,騰訊可能是中國最早達到EB級儲存的企業。微信和QQ多年來的穩定執行得益於騰訊在PC時代積累的海量服務之道,這樣的技術理念不僅支撐了騰訊內部眾多的業務從0到1再到億的突破,也為騰訊在PC網際網路時代的發展提供了強大的技術保障。
但是,當騰訊滿心歡喜得將這些經驗應用到產業中時卻遇到了各種各樣的挑戰。
首先,海量服務之道的基礎是騰訊在業務的底層和前端配備了強大的研發力量,這些研發團隊與騰訊雲產品團隊互相提供合理性的設計建議,從而保證騰訊的業務能夠小步快跑,快速迭代。
回到產業之後,騰訊雲立刻感受到了不同企業技術團隊規模上的巨大差異,很多企業缺乏穩定且龐大的技術團隊進行支撐。同時,隨著移動網際網路的大潮興起,企業對於業務的創新和研發效率都提出了更高的訴求,企業需要一套適應移動網際網路、雲端計算時代的技術體系,開發者也需要藉助雲端的基礎設施和基礎服務,來加速業務的成長。
因此,當企業在選擇雲廠商過程中,自然而然對雲廠商提出了更多訴求,並會下意識地詢問騰訊內部是否在使用該技術,他們希望自己所用的技術經歷過騰訊海量業務的打磨。
“我們肯定還是得回到產業現狀,根據企業的平均研發投入情況以及開源社群中的反饋進行調整並儘量靠近。只有這樣,做出來的產品和服務才能更加符合客戶的需求。”
從消費網際網路到產業網際網路,變化的不止於整個公司的戰略方向,騰訊雲背後的整體技術理念也在悄悄改變,原來的“海量之道”逐漸往“雲上生長”演進。
因此,騰訊在930變革之後,啟動了影響深遠的“開源協同和自研上雲”戰略。
在開源協同方面,因為在騰訊內部,類似微信這樣單體業務量龐大的應用有很多,不同的業務板塊背後都有各自的研發團隊,這些研發團隊針對不同的業務場景又開發了一些與自有場景深度繫結的能力,但通用性及泛化能力上可能存在不足。
如果迴歸到技術本質,未必所有業務都需要一套單獨的架構進行設計,不同的業務背後可能存在60%到80%的相似需求,既然存在相似性,就可以通過開源協同減少重複造輪子。騰訊雲對此的主要思路是集中技術力量將“單個輪子”造得儘可能好,讓其可以同時服務微信、QQ、視訊號等核心業務,同時這些技術被拿到產業裡面用的時候也可以適合產業界的需求。
目前,針對AI、大資料、音視訊等核心技術板塊,騰訊內部設定了專門的技術委員會,對內希望可以將這些技術服務好各大核心業務,對外則與全球頂級的技術社群協同合作,形成更好的參與和互動機制,為中國技術走向全球提供助力。
在過去三年的時間裡,騰訊內部共組建和孵化了117個開源協同小組,涵蓋計算、儲存、大資料等技術領域,涉及微信、QQ、騰訊雲等核心業務板塊,全公司內部程式碼開源率達到85%;對外,騰訊也開源了130多個開源專案,累計獲得star數38萬+,包括雲原生、作業系統、資料庫、大資料、AI等越來越多的自研核心技術逐步對外開源。
在自研上雲方面,從2019年開始,騰訊啟動上雲,以主機上云為主夯實雲基礎設施能力;次年,騰訊啟動雲化改造,鼓勵業務收歸自建PaaS到雲上,各BG容器平臺以雲原生為基座,完成上雲改造;今年,大力發展雲原生。資料顯示,自研上雲三年來,騰訊云云上總核心數達到4500萬,公司已實現21年增量100%上雲,存量資源66%已在雲上。
“騰訊雲上的所有服務只有通過內部率先使用、檢驗,經歷騰訊內部真正的海量業務打磨,才真正具備更好的推動產業上雲的能力,這是騰訊自研上雲背後所傳遞的核心理念之一。”王慧星表示。
國產化不意味著封閉
“封閉的國產自研其實對產業來說會帶來很大的消耗,國產化也應該追求開源和開放”。
但是,想讓全球開發者意識到中國技術還是非常優秀的最終還得靠產品來證明,這個任務無疑是艱鉅的。況且很多技術已經形成了事實上的開源標準,比如機器學習領域很多優秀的專案源自北美,國內短期內想做出與之功能類似且更好的專案挑戰非常巨大,王慧星認為開發者可以秉承著務實和創新意識先參與進去。
“參與其中並持續地貢獻程式碼,不僅是技術擔當和自信的表現,也是實現技術自主可控的主要途徑之一。”
比如在KVM領域,作為雲端計算的底層技術,騰訊雲堅持一方面通過持續創新解決騰訊雲線上遇到的各種挑戰並將產出反饋給社群,另一方面探索雲端計算領域的新技術,做好前沿技術的預演和積累,持續為KVM開源社群做出貢獻。目前,騰訊雲在該社群的歷史貢獻累計超過200項,其中累計“核心突破”貢獻達到9項,並連續五年進入貢獻值最高的中國企業。
王慧星同時表示,國內開發者在參與國外開源社群的同時,還要尋找機會突破。
以資料庫來說,國產化有著非常大的空間和機會。今天的資料庫大都是基於80年代的硬體所構建出的架構體系,因為資料庫本身對業務的侵入比較深,導致業務粘性極高,恰恰是這種粘性阻礙了資料庫技術的發展,比如如何提升SQL的解析效率,如何更好地與硬體技術結合,如何更好地落地新的儲存介質等方面有著巨大的提升空間。可以預測,資料庫領域未來將誕生全新的技術架構。
具體到國產資料庫建設層面,從底層到上層應用的相容性是騰訊雲希望可以做出更大突破和投入的,尤其是軟硬一體化,騰訊雲將堅定在這些領域持續投入和佈局,推動國產化技術在國際前沿嶄露頭角。
全球雲技術發展焦點觀察
雲端計算技術發展至今,全球市場開始將更多注意力放在容器、微服務、Serverless、低程式碼等趨勢上。這些技術遮蔽了底層細節和排程難題,讓開發者更聚焦業務邏輯,提升研發效率,因而備受開發者歡迎。
Serverless需要與企業已有研發體系結合
在基礎設施層面,雲平臺的出現已經幫助我們解決了穩定性,遮蔽了部分複雜性,但在完整的開發鏈路中,前後端開發人員依然需要進行大量溝通來完成一個專案。Serverless的出現極大解放了開發人員花費在底層基礎設施層面的精力,通過將部分工作Serverless化進一步實現按需使用和按量付費,降低人力成本和開發成本,讓開發層次越來越高,過程越來越簡單。
同時,Serverless的出現還將促進國內SaaS產業的發展,這一點從Adobe轉型後市值大漲便可窺見一二。在國內,大企業可能偏向定製,但中小企業由於技術能力有限,更關心如何經營好自己的業務,從而傾向於按需使用、按量付費的模式,從而大幅降低運營成本。Serverless的出現將很多原本複雜的功能函式化,SaaS企業可以更好地做創新。
在Serverless層面,騰訊雲早有佈局,並於該技術發展早期就與Serverless.com 達成全球戰略合作,並在函式冷啟動等方面做了很多優化。“小程式·雲開發”就是騰訊雲和微信合作的標杆產品。傳統開發模式下,小程式前端對應一個後端,後端又對接了很多其它子系統,比如資料庫、儲存、負載均衡、網路、容災等,但是用雲開發,就可以大大簡化整個架構,前端頁面到微信後臺,微信後臺通過走專線的形式,將使用者請求轉到 Tencent Cloud Base 元件(簡稱 TCB),TCB 後邊掛接了資料庫、儲存、網路、容災等系統,工程師們因此不用考慮複雜的後端操作,通過TCB就可以直接進行對接,小程式開發變得更加簡單。
為了更好地服務這批開發者,目前,騰訊雲與微信聯合將“小程式·雲開發”品牌升級為“微信雲開發”,在小程式開發的基礎上,將進一步支援公眾號H5等開發場景,實現微信生態的全面覆蓋。這意味著騰訊雲技術能力與微信生態的結合將進入一個新階段,也意味著騰訊對雲端一體化的戰略加碼。
隨著逐漸深入產業,未來,騰訊雲也會繼續優化技術的底層能力並進一步降低成本。採訪中,王慧星提到,對於已有一定研發積累的團隊,切入Serverless時還需要考慮與已有研發流程體系如何結合,這個確實需要一些時間。此外,今天業界對於在Serverless層面的投資還不夠,未來將會有很大的增強空間,騰訊雲已經考慮將資料庫、GPU算力等服務Serverless化,雖然虛擬化已經帶來了很大改進,但Serverless會進一步優化整個過程。
低程式碼的“用武之地”在傳統行業
隨著雲端計算一系列技術的發展,最近這四五年,低程式碼熱度持續攀升。
去年,Gartner曾預判,到 2023 年, 50% 的大中型企業將採用低程式碼平臺作為其戰略應用平臺之一,到 2024 年,全球將有 65% 的應用程式都將涉及低程式碼開發。
但很多人對這輪低程式碼的盛行頗有異議,有人認為低程式碼是偽需求並無實質用處,有人認為低程式碼平臺的變革成本巨大,並不能如預期般降本增效,也有人認為這是企業業務快速擴充套件的直通車......
“我覺得低程式碼這一趨勢是對的,它符合整個技術往前演進的規律,當開發的層次越來越高,像低程式碼這樣能讓開發變得簡單的技術,將有利於促進企業業務創新,進一步降低成本”,王慧星說。
正是看到了低程式碼開發龐大的市場需求和行業前景,騰訊雲在低程式碼開發領域加大布局。今年 1 月,騰訊雲微搭 WeDa 低程式碼平臺開啟公測,並於3月正式上線。
利用微搭WeDa 低程式碼平臺,開發者通過行業化模板、拖放式元件和視覺化配置,能快速構建出小程式、H5、Web 等多端應用。即便是編碼水平較低的使用者,也可快速打造一個小程式/H5/網頁。
值得注意的是,低程式碼的預設群體從來不是那些擁有龐大研發工程師的企業,在整個產業中,更多的業務團隊沒有那麼大的精力、人力和財力投入到研發中。相反,傳統企業更需要低程式碼平臺來幫助他們解決數字化管理類問題,提升人效和資料流轉效率。
王慧星認為,在這些企業中,低程式碼實現的前提來源於整個業務的場景化以及標準化,因為過於個性化的需求很難在組織和研發層面實現複用。低程式碼對那些技術團隊規模較小的企業意義更大,企業在上面簡單開發便可實現應用落地,既能實現開發者人力的節約,也可實現軟體層面的進一步複用”。
因此,騰訊雲將低程式碼的“用武之地”更多投向了傳統領域。他表示,騰訊雲開發和低程式碼的重點是從小程式走向更多企業,走向政府領域的開發者。
疫情期間,健康碼應用成為人們進行高效資訊互通的重要載體。
為四川全省8000多萬人提供服務的“天府健康通”就是基於微搭構建出來的。通過微搭上的身份識別,地圖元件、二維碼引擎等元件和模版,開發者很方便地構建起了疫情健康碼小程式、疫情防控表單等業務系統。
目前,騰訊雲接觸到的傳統企業大多認為低程式碼會幫助企業更便捷的搭建應用,業務人員可以簡單拖拉拽一個輕應用,通過階段性培訓,IT人員可以自主搭建企業內部OA辦公應用,加快數字化程式。
而對於廣大的開發者群體來說,低程式碼能讓他們從繁複的開發工作中解放出來,從而把更多精力投入到更有價值的底層創新上去。
“有很多底層技術整體演進的趨勢是越來越往上層走,從彙編到C到今天演進到低程式碼,是以雲程式設計的模式往上走。作為開發者,一方面要看到這樣的技術變化所帶來的整個社會創新成本的節約;另一方面,還應該站到應用端去思考底層的問題及發展,願意參與到底層技術的創新與深度探索中去”。
王慧星希望,未來Serverless與低程式碼技術能夠作為雲原生2.0技術,普惠數百萬開發者,為他們提供更多創新的空間。
分散式雲是雲端計算的未來
一朵雲?混合雲?多雲?每種方式都可以在企業中找到原型,雲越多帶來的複雜性越高,到底什麼方式才能更好地解決企業面對的問題呢?
出於資料合規和擔心被單一供應商繫結等各種原因,國內很多企業內部不止一朵雲。回到多雲本身,這就和今天的CDN競價測速類似,只要符合標準,哪邊的CDN速度快,企業就可以自動化排程到哪邊,只是對應到算力、儲存等技術的實現上還是面臨一定挑戰的。
在王慧星看來,容器技術客觀上為算力的可遷移帶來了巨大可能,騰訊雲已經在和滴滴探討共建這樣的容器技術,實現類似CDN的平滑排程。而在私有云構建層面,國內企業很容易忽略私有云的綜合運營和運維成本,騰訊雲也在和一些企業共建,希望可以將這些企業在私有云運營方面的經驗對外輸出,以期對行業產生價值。
此外,騰訊過往一直提倡不要全部依賴基礎設施,企業需要考慮基礎設施在某些極端條件下可能會出現的問題,這時,業務的可容災性就變得非常重要。今天,騰訊內部不同事業部的計算引擎基本都已經實現容器化了,騰訊雲也希望可以和業界一起統一容器方面的標準,讓使用者可以更方便地實現跨雲部署。
值得一提的是,針對混合雲混而不合的痛點,騰訊雲在不久前也正式公佈了自身的分散式雲戰略,併發布雲原生作業系統遨馳,該戰略旨在為使用者在多雲/混合雲場景下提供一致的產品服務和體驗,通過集中管控,統一管理位於不同位置的雲資源和業務應用,幫助使用者在任意位置獲取需要的雲資源與雲服務,讓雲無處不在。
分散式雲不僅延伸了雲的範圍,還保留了雲的優勢,讓企業在本地或邊緣享有公有云同等的服務。
未來十年,全真互聯的時代
今天,雲給社會帶來的變化已顯而易見,遙想未來十年,又將是怎樣的技術改變世界?騰訊認為,全真互聯技術或將定義下一個十年。
全真互聯時代的技術雛形已具備
全真網際網路究竟是一個怎樣的世界?
王慧星表示,現在的直播、雲遊戲都可認為是這一世界的簡單雛形,但要想達到理想中的全真網際網路時代還需要長時間的探索,騰訊雲正在圍繞全真互聯有關的技術進行佈局和投入。
具體在算力層面,騰訊雲基於自研晶片和伺服器硬體,藉助遨馳雲原生作業系統遨馳,構建無處不在,觸手可及的雲服務,夯實全真互聯世界的根基。遨馳也是目前業界唯一一個支援伺服器、容器、函式混合排程的雲原生作業系統,單叢集支援10萬級伺服器、百萬級容器規模。管理的CPU核數超過1億。
在實時分析層面,面對全真互聯將帶來新一輪資料大爆發,針對不同業務場景的資料需求,騰訊雲在海量資料儲存方面,推出了首款可以容納百EB級別的物件儲存COS,對於低延遲、高吞吐的資料訪問,推出了首款10微秒的極速型雲硬碟CBS,以及⾸款突破百GB吞吐的⽂件儲存服務;騰訊雲的高效能資料庫可以支援 10P 儲存空間,單機 QPS 達到每秒1億以上。通過儲存、資料庫、大資料技術在雲上的融合發展,騰訊雲的日實時計算次數做到了業界第一,超過200萬億。
此外,全真互聯時代的資料傳輸勢必要更進一步打破時空的限制,實現更接近面對面體驗的線上互動,在相關技術領域,騰訊雲也實現了多個行業第一。
例如,為了更高效地傳輸視訊,騰訊雲擁有領先的視訊壓縮技術。在今年的MSU視訊編解碼大賽上,騰訊雲在多個主流賽道取得了全部指標第一的佳績。基於這種技術能力,騰訊明眸極速高清解決方案壓縮率提升了50%。
在使用者側,為了更好地帶來沉浸式效果,騰訊雲實時雲渲染率先支援一秒鐘渲染144幀8K畫質的超高清視訊流。為了讓更多使用者能夠實時參與線上互動,騰訊雲實時音視訊(TRTC)單叢集目前支援1000萬互動使用者同時線上。
王慧星表示,實現全真互聯時代的基礎技術雛形均已具備,但應用端創新以及底層技術的持續演進還有很長的路要走。
技術發展不應只著眼於眼前的商業
對於未來的世界,技術所承載的價值不應僅僅限於商業世界,還應當著眼於環境、環保等更巨集大的命題中去。
2021年,“碳達峰”、“碳中和”成為熱詞,其中原因除了政策推動外,另一方面也說明,國內的科技公司的意識在積極轉變。
採訪中,王慧星談到,騰訊在提倡的“推動可持續社會價值創新”理念與碳中和戰略十分契合,在這個方面,科技公司可做的事情非常多,如通過AI和雲端計算技術全方位推進節能減排,降低資料中心的整體能耗、並推動材料物理向著對環境汙染更小、效能更強的方向逐步演進等。
他表示,作為雲廠商,騰訊雲希望基於自身技術優勢,做對社會、民生、經濟發展有益的事情。據瞭解,騰訊雲目前已經在碳中和戰略、節能減排等方面做了系列重點投入,並收到積極的反饋。
寫在最後
作為騰訊雲技術的負責人,談到雲端計算技術的未來,王慧星表示:“作為雲服務商來說,底層技術的變化最好的狀態是不要打擾使用者,未來雲技術應該要安安靜靜地站在最底層,安全穩定的支援客戶的業務創新。
“工程師的使命就是將複雜度留給自己”,從QQ的架構師到騰訊雲的CTO,17年時間裡,王慧星見證了雲端計算等技術的數次變遷,但他認為,無論潮流如何更迭,開發者都不應改變腳踏實地的本色。
“開發者只有深入到產業中去,深入到場景中去,才能讓技術越來越好,做世界運轉背後的堅實支撐者”。
時代的年輪在滾滾向前,從移動網際網路再到即將到來的全真互聯時代,不僅僅是應用互動方式的變革,背後更是一次次技術顛覆與被顛覆的歷程。
或許等到變革真正到來的那一天,再回想起當年移動網際網路所掀起的風雨,親歷其中的萬千開發者們又會有一番怎樣的感慨呢?