評委拍案叫絕、專案驚喜不斷,這是一屆怎樣的 Hackathon ?丨TiDB Hackathon 2021 回顧

PingCAP發表於2022-01-17

昨日, 主題為「Explore the Sky」的 TiDB Hackathon 2021 完美收官!今年已經是  TiDB Hackathon 第五屆賽事,參賽規模創歷屆之最,共有 279人 ,64 支隊伍參賽,有來自騰訊、華為、網易、美團、位元組、京東、滴滴等企業的上班族,也有來自北大、北郵、中科院、上海交大、RMIT 等高校的學生。

在兩天一夜的 Hacking Time 中,圍繞著核心、工具、生態、「∞」四大賽道,選手們拿出了眾多令評委驚豔的專案。在 TiDB 核心方向做出不少 hardcore 、大幅提升效能的創新專案,在工具方向對 TiDB 的可觀測性及診斷易用性做出了大幅優化,在生態擴充套件方向百花齊放,出現了語法完備的分散式圖資料庫,給 TiDB 打通了入湖的高速通道,很多專案其實已經在 TiDB 的 Roadmap 裡,並已經具備落地的成熟度。最終,有 10 支隊伍瓜分了總計 40萬元的現金獎,另有 10 支隊伍分獲無限創意獎、校園團隊獎、使用者之選獎、最佳市場潛力獎、雲上應用獎、積分挑戰獎、技術潛力獎、最佳人氣獎

專案創意無限

本屆參賽隊發揮出天馬行空的想象力,創意無限,向組委會提交了各種充滿創意的專案:如 TiDB 冷熱資料分層儲存、TiLaker: 為 TiDB 打通了入湖的高速通道、TiDB Flashback、TPC TiKV、黑馬警長、collie、基於 TiDB/TiKV 的 oom.ai 特徵平臺、TiDB Visual Plan……連我司 CTO 黃東旭都組隊參賽了,他的專案是 pCloud,號稱資料庫上的 iCloud,甚至還有隊伍腦洞大開,實現了 TiDB 與 Minecraft 的夢幻聯動……還有太多專案就不一一列舉了,大家可以通過活動官網瞭解全部專案。

滑滑蛋組 chaoscraft Demo 演示
從質量來看,優秀專案驚喜不斷,選手直呼 Hackathon 越來越卷,獎項角逐非常激烈。經過緊張的開發和高密度的閃電答辯,共有 20 支隊伍脫穎而出進入到最後的決賽答辯,還有還有 5 支隊伍做雲上應用獎答辯,5 支隊伍做無限創意獎答辯

由北京、上海、廣州、深圳、杭州、成都六城聯動直播的 Demo Show 從下午 13:30 一直持續到深夜 22:00。雖然決賽答辯長達 9 個小時,但是大家越看越興奮。平時含蓄內斂的技術大佬們一旦介紹起自己的產品,就變身為滔滔不絕的演說家。放幾張現場,大家隨便感受下:

決賽答辯現場

最終,經過緊張評選,評委團最終共評出了一、二、三等獎和技術潛力獎、使用者之選獎、雲上應用獎、無限創意獎。由於獎項角逐太激烈,有很多優秀專案遺憾落選,以下是全部獲獎名單:左右滑動檢視更多

本屆 Hackathon 評委、PingCAP VP of Engineering 唐劉老師對今年的專案讚不絕口,對多個專案給出了 “不負責任” 點評:

核心增強

He3:TiDB 冷熱資料分層儲存

這個專案獲得了本次 Hackathon 的一等獎,在跟本次 Hackathon 另外一個類似專案整合,會為後面 TiDB 跟 S3 的整合打下不錯的基礎,至少這次 Hackathon 驗證了可行性。其實原理很簡單,將冷的資料放到 S3,然後將運算元儘量的下推到 S3,通過 S3 原生的 select 功能來加速查詢。當然,如果資料已經在 S3,我們還可以通過 cloud 上面其他的服務,譬如 Athena,來做更多的查詢聚合操作,加速查詢。這次大家都是在通過 partition 做文章,畢竟根據時間片來分的 partition 是非常常用的一種操作,後面,我們內部現在也在通過 LSM 做一些跟 S3 整合的研究,我還是很期待這些都能在今年看到不少的成果產出。譬如我們的 TiDB Cloud Dev Tier 叢集就可以完全用這套機制來先驗證。

診斷易用性工具

TiVP:TiDB Visual Plan,慢 SQL 診斷

當我終於看到視覺化的執行計劃的時候,我幾乎流下了激動的淚水。畢竟我們之前診斷慢 SQL 實在是太苦了,那一大屏的執行計劃,幾乎叫做沒法看,而且如果要對比兩個執行計劃的異同,就更崩潰了。有了視覺化,至少分析到底哪裡慢的效率會提升很多,而且後面我們完全可以將 SQL advisor 的功能直接整合到 TiVP 上面,讓大家直接線上能進行 SQL bind,add/drop index 這些操作。看完這個專案,我立刻問了下 wish 同學,他直接甩給我一張更漂亮的 Visual Plan 的圖,原來已經排在了 roadmap 裡面,大家拭目以待。

生態擴充套件

TiMatch - 語法完備的分散式圖資料庫

去年 TiGraph 已經讓大家驚豔,今年 TiMatch 更讓人期待了。這次易用性更好,而且對於老叢集也能直接升級使用。因為 TiMatch 只是內部建立了一套 graph index,然後通過 TiDB 分散式事務機制,跟原先關係表的資料統一更新。語法上面,借鑑了 Oracle graph 的語法,所以已經是關係完備的了,不過我覺得後面的挑戰在於效能上面,希望下一屆這塊能給大家展示相關的資料。

TiLaker: 為 TiDB 打通了入湖的高速通道

去年次 Hackathon 其實有不少跟 Flink 整合的專案,不過今年決賽就看到一個,實話我還是有點小失望的。但今年 TiLaker 做的還是挺完備的,畢竟有 Flink committer 的參與,大家給 Flink 實現了一個 CDC connector,這樣能讓 Flink 直接讀取 TiDB 的增量資料,同步到下游了。藉助 Flink 的能力,讓 TiDB 更好的跟下游生態進行了打通,後面也希望有不少的應用案例能出來。

pCloud :pCloud

這是一個非常有意思的專案,貴司的 CTO 東旭同學直接上場帶貨,先拋開他個人現場極大的感染力,從實際來看,pCloud 真的做的很不錯。東旭只是展示了產品效果,聊了聊商業模式這些,但我其實是知道這個專案的底層實現的,還是很有挑戰。不過這個也給下一屆 Hackathon 參賽的同學給了另一種參考,一個專案,大家有時候更容易關注技術本身,但如果我們是做一個產品,或者一個 SaaS 服務,對於使用者的理解,對於商業的理解也是非常關鍵的。所以即使大家覺得自己對 TiDB 沒太多理解,寫不了太 hardcore 的程式,但也可以從另外的方向來突破。
……此處省略千字長文,以上觀點僅代表首席架構師個人觀點。

祝賀各位獲獎賽隊及選手們,更多精彩圖文版回顧請往下滑

六城連線,碼力集結

8 日一早,各地參賽隊伍就開始陸續到達 PingCAP 在各地的活動現場,簽到、拍照並領取紀念禮品。參賽選手們有來自騰訊、華為、網易、美團、位元組、京東、滴滴等企業的上班族,也有來自北大、北郵、中科院、上海交大、RMIT 等高校的學生。
![]()
選手們或爭分奪秒地準備專案,或熱烈地進行小組討論,或馬不停蹄地進行 Coding……為能在規定時間之內交付出讓自己、評委滿意的專案,碼力全開!

最小的選手僅有 8 歲,程式設計從少年開始~

分散式賽事保障,吃喝不能少

硬核的黑客馬拉松少不了吃吃喝喝,為了保障六城分散式賽事順利,志願者們為參賽選手們準備了各種下午茶、午餐、晚餐,穿梭在賽場中為大家提供分散式後勤保障。

評委老師拍案叫絕

本屆 Hackathon 專案一個比一個精彩,評委老師們也卯足了勁兒,聚精會神地觀看專案的每一個細節,演示結束後,評委老師們還會現場提問,不乏對專案完善的建議。
左右滑動檢視更多
特別感謝 DataPipeline CTO 陳肅、雲啟資本合夥人陳昱、PingCAP TiDB Cloud 負責人代聞、多點 Dmall 資料庫團隊負責人馮光普、PingCAP 工具團隊 PM 、濤思資料聯合創始人兼技術 VP 關勝亮、Apache Foundation Member 郭煒、美團資料庫研發中心負責人李凱、SphereEX 聯合創始人 & CTO / Apache ShardingSphere PMC 潘娟、小米大資料委員會祕書長潘英超、Google Cloud Data Management Specialist 喬木、神州數碼集團副總裁兼 CIO 沈暘、PingCAP VP of Engineering 唐劉、Apache 軟體基金會董事 / Tetrate 創始工程師吳晟、華創資本合夥人謝佳、明勢資本執行董事徐之浩、PingCAP 混沌工程團隊負責人殷成文、上海交通大學特聘教授 / 博士生導師 / ACM 班創始人俞勇、Apache Pulsar PMC 成員 / StreamNative 聯合創始人翟佳、PingCAP DataPlatform PM 翟玉龍、PingCAP 研發總監張建、Datafuse Labs 聯合創始人張雁飛等 22 位老師認真負責的評審。

賽後,我們還將採訪優秀專案賽隊,為大家深入介紹他們的專案設計思路、實現過程以及未來工作方向,希望帶給大家一些啟發。敬請期待!
最後,感謝 贊助商和合作夥伴對賽事的大力支援,也感謝志願者們的奉獻!我們明年再見!

相關文章