助力研發效能變革,第七屆Techo TVP 開發者峰會圓滿落下帷幕!

騰訊雲開發者發表於2023-04-18

引言

在網際網路數字企業結束“野蠻擴張”、追求高質量增長的今天,研發效能已然成為企業關注的核心命題。伴隨著雲原生概念在軟體領域的落地生根,雲原生正驅動軟體應用設計、實現、部署及運維方式的鉅變,為研發效能治理帶來了新的挑戰與機遇,軟體效能將迎來全新的雲原生變革時代。

2023 年 3 月 25 日,Techo TVP 開發者峰會“以云為核,效能聚變”正式落下帷幕,11 位來自效能領域的知名技術領袖和專家,從效能治理、雲原生、DevOps、可觀測性等方面探討了研發效能提升的最佳實踐和未來趨勢。

主持人開場

圖片

本次峰會由樂凱撒 CTO、騰訊雲 TVP 黃道泳擔任主持人。會議一開始,黃老師首先分享了 Techo TVP 開發者峰會的初心和宗旨——旨在透過最用心的分享、最前沿的洞察、最實際的觀點,為開發者朋友獻上一場“最有料、有趣、且有用”的開發者峰會。

黃老師講到,天下武功,唯快不破。在資訊科技主導的數字經濟時代,研發效能就決定了你有多“快”。但隨著軟體規模和複雜度的不斷提升,傳統軟體研發的“人海戰術”模式已經行不通了,我們需要重新審視傳統軟體的研發模式、研發流程、研發工具等方方面面,逐一提升工程團隊的研發效能,在保證質量的前提下,儘可能高效地持續交付價值。

嘉賓致辭

圖片

騰訊雲副總裁 黃俊洪為本次峰會發表了致辭。他首先回顧了騰訊內部持續進行研發效能治理的歷史,從 2019 年騰訊內部上雲開始,研發流程 DevOps 化就是很重要的一項工作。透過研發資料資產治理以及持續交付流水線改造,再配合容器化和微服務框架改造,最終在 2022 年實現了騰訊自研業務全面上雲。

他也提到了剛剛釋出的《騰訊研發大資料包告》中的幾個資料:超過 90% 的業務研發透過騰訊 CI 雲原生流水線構建和部署,構建時長縮短 60%,部署效率提升 75%。

騰訊雲也將騰訊內部研效治理的經驗凝練為技術能力,助力更多企業提升研效。在基礎設施層,騰訊雲原生團隊積極探索 Serverless 化,打造面向未來的應用研發交付體系和用雲體驗,實現開發雲原生資源服務化;在基礎軟體層,騰訊雲資料庫團隊研發打磨出 TDSQL,大幅度提升資料庫效能,滿足對彈性、高可用性、可擴充套件性的需求;在研發環節,推出了遠端協作的雲端 IDE—騰訊雲 Cloud Studio,並將WebIDE 與 DevOps 能力打通,連線雲上開發資源環境,最佳化雲端開發協作體驗;在運維層面,騰訊雲監控推出了一體化可觀測平臺,打通監控產品的資料孤島,覆蓋 App、分散式應用、容器等不同場景,有效提高監控運維效率,並將其觀測能力融合到雲原生應用管理能力,讓技術團隊能夠充分享受雲原生技術紅利;騰訊安全團隊對傳統的開發安全工具進行顛覆式的創新,提供雲上資料資產安全防控能力,形成了完善的 DevSecOps 體系建設。

最後,他總結道:“隨著科技的不斷髮展,越來越多的新技術、新工具的出現,研發效能的提升將越來越趨於科學化、智慧化,就像最近 AI 爆炸式出現一樣,我相信對整個行業發展會帶來革命性創新。”

騰訊雲研發效能提升及業務實踐

圖片

騰訊雲研發效能提升工作組負責人、騰訊健康副總裁 張渝帶來了《騰訊雲研發效能提升及業務實踐》的主題分享。他首先分享了騰訊雲在研發效能方面遇到的痛點和主要的解決思路。痛點可以歸結為三點:標準規範、工具平臺和文化宣傳。具體而言,在標準規範上,從騰訊雲或者再往上一層的角度來看,缺乏更高層次的統一標準和規範;在工具平臺上,工具非常多,但沒有形成統一的整體;在文化宣傳上,希望從管理者到一線員工達成共識,認同研發效能的重要性。

研效提升工作組針對這三個痛點做了很多工作:一是制定統一的標準規範,讓大家逐漸收歸到推薦的主流標準上來;二是把工具平臺做一站式串聯,形成一個統一的整個騰訊雲共用的研效平臺;三是加強宣傳引導,讓大家共同關注參與。

圖片

他用金字塔模型分享了整個騰訊雲研效平臺的理念和思路。最終的目標是要實現從需求、開發、構建到最終的運維運營,一體式全過程地在研效平臺上完成,提升一線研發和運維的幸福感。第一階段是金字塔最底層各種工具能力的完善,把已有的主流的工具挑選出來,然後去完善其能力,尤其是加強自動化方面。再往上是透過一站式門戶把工具串聯起來,從需求提出到程式碼管理再到最後上線釋出和監控運維,都在這個平臺上完成,這是第二階段。第三階段是在此之上實踐 DevOps 理念,尤其是從應用視角來貫穿流程。最上層是價值體現,這也是希望研效工作最終達到的目標,也就是希望透過資料度量跟蹤,體現所有的研效提升工作確實符合預期,確實按照所設想的軌道往前推進。

之後,他以騰訊醫療業務研發效能實踐作為案例,分享了建設過程中的思考。總結下來,在開發域,統一了開發模式、開發規範、自動建立服務的腳手架;在構建域,完善了持續整合,自動化流水線建立,持續整合增加質量門禁,提升構建質量;在測試域,使測試效率明顯提升;在部署域,完善了持續釋出;在運營域,完善了可觀測體系。最後,他介紹了騰訊雲研效工作未來的規劃,持續強化專案內部的互聯互通是下一步的重點,也希望在整個跨 BG 方面也能進一步提升效率。

研發雲原生的效能“奇點”

圖片

“雲原生”這個詞兒大家都不陌生了,那“雲原生”和“效能”能碰撞出什麼樣的火花呢?

Thoughtworks 創新技術總經理、騰訊雲 TVP 肖然帶來了《研發雲原生的效能“奇點”》主題分享。肖老師認為,目前大型研發組織面臨的數字化挑戰主要有四個方面:研發成本正在飛速上升,只要提高 20% 的生產力,就等於每年減少 1-5 千萬美元的研發成本;人才招聘和保留的挑戰,稀缺的人才會用腳投票;競爭性和價值實現時間方面,顛覆性企業的歷史包袱較少,其發展速度比大多數根深蒂固的市場領導者快 10 倍;可預測性方面,董事會對沒有更好的 2-3 年計劃成果和一致的時間表感到越來越感沮喪。

他重點講解了研發雲原生管理的六大支柱:價值驅動、融合協作、分佈自治、快速響應、質量內建和持續改善。

肖老師提出了三個口號:一是架構上必須狠下工夫,雲原生不是讓大家把現有的東西直接搬到雲容器裡面去,這個叫上雲,不叫雲原生。所以架構上一定要狠下工夫。二是團隊一定要價值導向,接下來團隊會更加碎片化、更小,但一定要保證價值導向,要不然就會出問題。三是在工程實施上一定要提降本增效。真正想走進雲原生,也要提降本增效,不要羞於提,今年如果花 100 萬,明年花 90 萬就是勝利,這對企業來說就是真金白銀。

從Monitor到Observability騰訊雲在可觀測領域的發展與實踐

圖片

騰訊雲可觀測平臺技術總監 黃傑帶來了題為《從 Monitor 到 Observability,騰訊雲在可觀測領域的發展與實踐》的分享,探討了如何建立端到端一體化可觀測平臺,提高監控效率,降低運維工作量。

他首先介紹了可觀測性和傳統監控的區別。他認為,傳統監控主要是解決個體的問題,比如系統是否正常工作,某個服務是否正常,解決的是比較固定的單體問題;而可觀測性更多是要解決系統為什麼不工作了,原因是什麼,是系統性的問題。

在介紹了可觀測性的三大支柱—— Metrics、Logging 和 Tracing——之後,他詳細講解了如何構建可觀測平臺,並介紹了騰訊雲一體化可觀測平臺。

圖片

最後黃傑老師做了幾點展望,一個是希望可觀測性也能標準化,這樣資料更標準,處理起來也更方便,業務遷移也很方便;一個是如何為 AI 做好鋪墊,讓機器幫我們發現業務問題。

構建企業雲上開發部署新正規化

圖片

隨著“雲原生”的開發模式日漸成為新的行業趨勢,將底層雲資源和線上開發環境融合的開發工具,將圍繞著現代化的流程,重塑新的開發正規化。騰訊雲 Cloud Studio 產品總監 汪晟傑帶來的分享是《構建企業雲上開發部署新正規化》。

他認為,企業級雲端開發環境的契機是降本增效背景下的開發模式變革,雲端開發環境(Cloud Development Environment)則是利用雲上快捷彈性的資源能力,進行雲上開發到測試的新開發模式。它基於容器隔離性,與企業內的研發規範流程結合,賦能企業開發及管理者,最佳化並控制研發成本。

雲端開發環境可以帶來四個方面的價值:提效,開發一鍵執行,利用雲端計算的彈性這個優勢,需要什麼資源就啟動什麼資源;提高生產力,透過容器化方式並行工作;可以緊密結合 DevOps;有利於監管開發資源,降低成本。

彈性是雲端開發環境的優勢之一,另一個優勢是,可以做到雲上程式碼不落地。

有些企業更多地希望程式碼是一個企業的資產,不要進入本地電腦,希望雲端開發環境有較高的安全要求。而騰訊雲的 Cloud Studio 也釋出了這樣的功能,如數字水印,還有一些加密手段,容器化儲存雲端開發環境的程式碼會經過最高階別的加密。

雲端開發環境也帶來了雲上協同開發、協同排查的新工作模式。在 Cloud Studio 中,大家進入同一個工作空間,啟動多游標,這裡也用了很多文件的概念,用到了程式碼跟隨。同時也做了終端跟隨,需要除錯終端的問題時,就定位到這個地方,另一個人就收到了,我這裡碰到了問題,可以讓別人幫我解決一下。還有留言板等功能。也可以做架構討論、評審。

汪晟傑老師還介紹了雲端開發環境的一些解決方案,比如 Cloud Studio 可以直接賦能移動開發生態,以小程式為例,它可以快速拉起小程式所有環境,依賴包,同時進行預覽,直接釋出到多端的小程式生態。像教學、面試等場景,都可以為目標人群直接拉起一個開發環境。結合最近大火的 ChatGPT,他認為 AI 會進一步賦能雲端開發環境,未來可期!

從推動到拉動——軟體研發效能的第一性原理

圖片

研發效能問題的本質是什麼?如何實現高效的研發管理,保障產品的交付效率與質量?Agilean 首席顧問、騰訊雲 TVP 吳穹帶來了題為《從推動到拉動——軟體研發效能的第一性原理》。

吳穹老師開宗明義,介紹了什麼是軟體效能的第一性原理——就是我們在思考效能這個問題的時候,我們的思考點是什麼,問題從哪兒來,用什麼方式解決。

軟體研發效能低下的根本原因是什麼?吳穹老師認為是擁堵——在擁堵狀態下,大多數改進措施都會收效甚微。擁堵的特徵是動得少,停的多,伴隨著低流動效率和高資源飽和度。在擁堵的場景下,團隊通常被迫採用多工並行的方式,而高併發下的任務切換往往也伴隨著極大的效能損耗。所以研發效能改進的關鍵,就是要減少並行和等待,加速交付。

接下來,他分析了擁堵的成因:一個是推動式流程的限期排期機制,一個是濫用推動式工作流。限期排期機制下,需求插隊頻發、排期緊張,導致研發團隊工作節奏混亂,研發團隊在“救火”工作中疲於奔命;使用推動式工作流中,存在產能瓶頸的節點很快就會被上游移交的工作項填滿,處於瓶頸點的員工將面對巨大的工作量和交付壓力。

在解決擁堵的問題上,我們可以運用精益思想的拉動理念,建立拉動式的價值流。讓研發流程中的瓶頸點能建立起自己的交付節奏,使得研發工作能更高效、有序地透過瓶頸點,從而解決擁堵、提升交付團隊的整體交付速度和交付質量。吳穹老師最後總結道:“透過需求前置時間和流動效率識別團隊擁堵程度;實施需求優選和版本火車建立拉動式研發流程;使用看板透明研發過程、促進需求流動。研發團隊可參考這樣的實施路徑緩解研發過程的擁堵,實現研發效能的全域性最佳化。”

Platform Engineering平臺工程:基於雲原生Serverless打造極致研效

圖片

Serverless 技術具有降低開發成本、按需自動擴縮容、免運維等諸多優勢,已經大量被開發者使用,來實現更快地構建雲上應用。Serverless 將如何打造面向未來的應用研發交付體系和用雲體驗呢?騰訊雲函式產品負責人 何世友分享了《Platform Engineering 平臺工程:基於雲原生 Serverless 打造極致研效》。

分享中提到,Serverless 架構市場規模持續增長,騰訊雲也打造了內容豐富的 Serverless 產品矩陣。

圖片

Serverless 架構市場規模持續增長,函式 SCF 已累計服務 200 萬開發者,次日均呼叫量超過 300 億。何老師還詳細介紹了用 Serverless 產品打造的滿足企業和開發者需求的研運平臺。

圖片

他在分享中總結道:“我們更加關注,接下來以十年為期看,這個中間的過程,特別是現在有很多走上了跨雲、混合雲、IDC 和雲上雲下拉通這樣的組合方案,怎麼把先進的開發體驗引入到企業裡面去。所以我們在嘗試走另外一條路,這個路是在相容企業的訴求,和企業裡面開發者的訴求,整合到一起,達到滿足企業的成本、預算、管理的訴求,同時滿足開發者極致的開發需求,這樣一個整體的方案。”

騰訊開發安全DevSecOps落地實踐分享

圖片

在向 DevOps 轉型的過程中,傳統的開發安全工具在 DevOps 模式下遇到了非常大的挑戰。如何建設完善的 DevSecOps 的體系,保障雲上安全防控能力呢?騰訊雲開發安全高階解決方案架構師 劉現磊帶來了題為《騰訊開發安全 DevSecOps 落地實踐分享》的演講。

缺陷是天生的,漏洞是必然的,程式碼自身安全是安全的基礎。劉現磊老師首先分析了安全問題的一些原因。在過去兩年當中,開發安全的整個過程出現了一些新問題,比如供應鏈的問題,像採購的外部供應商供應鏈的問題,像構建階段引入的第三方開發元件的問題,等等。

研發模式演進到DevOps,需要新的應用安全開發建設。DevSecOps 的思路是讓安全左移:安全介入越早,漏洞修復成本越低。

他回顧了騰訊 DevSecOps 建設的幾個階段:從外及裡,由點到面,從解決問題到講究效率。劉現磊老師總結說,安全雖然是古老的命題,有二十多年的發展過程,但是開發安全在新場景、新模式、新威脅面前,針對這些安全問題,騰訊經歷了切膚之痛,最後發現用我們這種工具,才能更符合當下人們在 DevSecOps 模式下的開發模式。

新一代雲原生資料庫技術解析與最佳實踐

圖片

在雲端計算時代,由於對彈性、高可用性、可擴充套件性的需求以及來自不同業務領域的應用程式對按需使用的需求增長,雲原生資料庫變得越來越重要。騰訊雲資料庫產品總監 劉迪分享了《新一代雲原生資料庫技術解析與最佳實踐》。

他在分享中介紹了騰訊雲原生資料庫的核心技術。首先是雲原生的軟體設計,計算和儲存分離,把計算節點和儲存節點完全獨立解耦部署,使得計算節點完全無狀態,其高可用和高可靠性會比傳統資料庫好得多。其次是自研的資料庫核心——企業級定製核心 TXSQL,在核心層面做了很多企業級特性、效能加速、資料安全等的工作, 列舉了近期釋出的平行計算框架,針對複雜查詢, 較傳統資料庫加速比能夠到 20。第三是在軟硬結合上做了大量最佳化,透過 RDMA 網路升級、編譯器最佳化以及持久化記憶體實現的二級快取能力, 可以提升將 2 倍以上的資料庫效能。第四就是在探索 AI 的整合,實現了“無人駕駛”的資料庫自治以及基於深度強化學習演算法的 AI 智慧調參, 進一步提升雲原生資料庫的穩定性和效能上限。

劉迪老師還分享了三個案例:瑞幸咖啡把交易系統、商城點單核心繫統全部替換成了雲原生資料庫後,再遇到爆品點單場景時,雲原生資料庫在達到了一定的負載後可以進行自動的秒級彈性處理;blued 在遷移到雲原生資料庫之後,延遲下降了 80%,比原先單獨跑延遲更低,解決了效能和運維複雜度問題;最後結合新一代 Serverless 架構在海量微信小程式後臺的應用案例,凸顯了 Serverless 技術透過雲原生資料庫的底層架構的實現,可為使用者實現自彈性、自擴充套件能力,幫助使用者降低資料庫使用成本超 80%。

圓桌對話:從管理到工具,提質增效全流程放送

在精彩的分享環節結束之後,峰會進入了思想交鋒、觀點碰撞的圓桌論壇。圓桌環節的主題是《從管理到工具,提質增效全流程》。該環節仍由黃道泳老師主持,吳穹、何世友、汪晟傑和騰訊雲可觀測平臺產品總監 趙九州四位嘉賓參與了交流。

在如何理解研發效能本質的問題上,何世友老師表示,研發效能強調的是整體從專案立項到最終上線,以及後續的迭代,有一個閉環的流水線,而且是一個永遠在迭代螺旋上升的迴圈。讓每個角色都待在專長領域專注核心工作,找到薄弱環節並把最薄弱環節做得高效,整個鏈路就會更高效。

圖片

在討論可觀測性如何助力研發效能時,趙九州老師打了個比方,研發效能是為了更好地幫助公司抵達目的地,可觀測性就是導航,二者密不可分。具體可以體現在三個方面:幫助研發過程中更好地故障排查和預防、幫助研發效能做更好的度量與規劃、有助於提升跟運維部門的合作效率。騰訊雲的可觀測平臺包含了壓測、多測、效能監控等多個功能,能在使用者層面觀測卡頓、崩潰等效能問題;還可以透過分析日誌、鏈路、指標等相關資料,幫助軟體定位故障與缺陷,並透過歷史資料分析,預測潛在風險,發現資源利用率改進點。

在被討論效能治理如何避免效率豎井,把各個單點能力橫向整合拉通實現全域性最佳化時,汪晟傑老師從公司層面進行了分析,公司最重要的就是資訊價值流的上通下達問題。首先需要一個統一的視角,讓整體架構變得更上通下達;其次要有很好的價值流,所謂價值流就是資料,需要定義好全域性觀,定義好資料模型。在系統很難做到大局觀的情況下,就要看自己能賦能給企業的是什麼,能給其它團隊增加多少能力,從而讓整個業務和價值流、企業文化變得更好。

在討論不同的階段敏捷專案實踐會有哪些致命的誤區時,吳穹老師提出,敏捷實踐最大的誤區是照搬別人的經驗,不會客觀分析自己的狀況,制定適合自己的演進方式。每個組織的要求不一樣,比如你現在業務主要問題是不能快速執行,所以這時候雖然你們還不夠創新,但我們可能會覺得這個不是你的短期重點,一個組織不能把所有地方都做到了,那是不存在的,成本也受不了。

研發效能治理過程中會遇到重重阻礙,比如利益衝突、基礎設施不完善、團隊認知甚至管理層認知不夠。在共同討論環節,各位嘉賓針對研效治理應該管理制度先行還是平臺工具先行,中小企業如何提升研效等問題分享了各自的見解。

汪晟傑老師認為應該平臺先行。永遠不要指望老闆比員工先領會到細節,在研發效能上,老闆更關注成本效益。平臺先行之後,做出一個最佳實踐,或者有數字來證明你提高了多少,老闆才願意為你買單。

何世友老師則認為管理需要先行,但平臺工具比重會更大。管理上要儘可能輕、儘可能薄,只管核心,只定基礎的開發規範和流程,不涉及管人,不牽扯績效,更多是作為一種牽引,讓大家達成協作。最終還是依賴工具去幫你執行,讓工程師儘量有自動化的流程。

吳穹老師認為,未來的趨勢是會加強管理,同時也會藉助工具。所有的組織都是要管理的,網際網路以前不太注重管理,但未來三年會是強管理的三年。要有效能,首先要有資料,有資料有基線才好做管理。基線怎麼來?這裡就體現出工具的重要性了,沒有工具很難做到規模化的管理,所以肯定會越來越多地藉助 SaaS 化的、公有云的工具,自研的工具會越來越少。要格外避免用做工具來代替做管理。

趙九州老師認為要看公司性質,小公司搞管理,大公司搞工具。人是不可控的,在大公司或複雜的組織裡面,透過管理驅動人來做太低效,需要靠工具、平臺來做管理。在規模不大的創業公司或技術型公司,可能還是要從管理發力,用一些滿足實際業務需要的基礎版工具/服務就足夠了。市面上很多雲廠商,也在提供相應的能力,做中小企業的定向扶持,很多工具都可以使用,不要浪費精力自研。趙老師還舉了團隊前段時間跟騰訊會議合作的例子,異地程式設計師們開著騰訊會議投屏改程式碼,面向會議做持續的程式設計和研效溝通。

主持人黃道泳老師總結道,工具先行還是制度先行不能一概而論,要看每個人所處的環境。大公司要搞管理的成本很高,要變革很多人的工作行為模式,是需要極高的許可權或者共識,所以可能走工具會更容易出成果。如果是小團隊,做工具成本太高,而管理的收益更快,可能大家開個會,同步一下,培訓一兩次就解決了,大團隊不是那麼容易達成共識的。這也需要每位開發者,根據自己所處的環境來判斷,哪個先行都要按照自己的實際業務來。

結語

技術火花頻出,思想碰撞迭起的交流盛會總是讓人留戀,在與會者的掌聲之中,本次峰會落下了帷幕。本次峰會內容豐富,十一位專家就雲原生如何驅動研發效能加速變革分享了真知灼見,有理念,有實踐,有方法,有工具,有高屋建瓴的方法論,也有可以落地實操的工具,更有功能豐富的雲功能。我們從專家的分享中能感受到雲原生給研發效能帶來的深刻變革,也能從他們的言談中感受到 AI 技術會如何進一步變革我們的研發流程。希望本次峰會的精彩內容能給大家帶來點滴啟發,推動所在技術團隊的研發效能變革。

未來已來, Techo TVP 開發者峰會將與企業和開發者一路同行!