跳出思維的“盒子”,聊聊 RTE 應用創新大賽的那些作品

聲網Agora發表於2021-12-03

由聲網Agora 與環信聯合主辦的“RTE 2021 程式設計挑戰賽”已圓滿落幕。在今年的大賽中,來自行業中不同領域的專家參與了決賽評選,包括 Linux 中國技術社群技術負責人 白宦成、聲網Agora 資深 iOS 開發工程師龔宇華、北京音視跳動首席架構師兼講師 李超、SegmentFault 思否 CTO 祁寧、環信 CTO 趙貴賓、聲網Agora Web 研發工程師 張乾澤、聲網Agora SDK 資深架構師 章真。參賽作品得到了來自不同視角的評價。

我們也找到了幾位評委,跟他們聊了聊他們印象深刻的創新應用,以及他們對於未來實時互動場景發展的看法。

給評委留下深刻印象的作品

今年從 200+ 支參賽隊伍中脫穎而出的 46 支隊伍參加了決賽。這些作品的創意、技術實現、潛在價值,各具所長,給評委們留下了很深的印象。

例如「都市探險家」專案。它是利用地圖 LBS + 雲信令 SDK + 實時音視訊構建的社交產品。通過地理位置,不同的人可以在旅途中找到志同道合的夥伴,一起探索城市。產品中實現了多人語聊房場景,小夥伴們可以通過語音交流。評委祁寧表示“他們將遊戲與現實探險結合起來,有比較良好的使用體驗。並且很好的利用了聲網的實時通訊能力,稍微完善一下就是一個很有前景的商業專案。”

圖片

再譬如,在 Web 端實現虛擬主播的專案「Vchat」。它是使用 tensorflow.js 的 WebGL 引擎作為後端,使用現有開源的人臉識別模型通過攝像頭識別人臉的位置以及五官的狀態。再通過 Three.js 和 Vrm.js 將人臉資料實時更新到虛擬的 3D 模型上。其實評委之一的張乾澤就曾在 Native 端開發過虛擬主播,但這也是他第一次看到有人用 Web 技術和機器學習實現虛擬主播,而且骨架還可替換,非常有趣。

圖片

還有獲得一等獎的「Agora Home AI」以智慧家居為主題,評委李超就給出過評價“它將音視訊、AI、物聯網三者結合到一起,給我們帶來了更多的想像空間,相信這個產品經過更細緻的打麿一定可以成為一個現象級的產品”。它使用雲信令 SDK 實現了IoT 裝置遠端控制。同時,通過聲網Agora RTC SDK 實現人與機器的 1V1 視訊,將機器人端採集到的視訊傳送至 PC 控制中心,進行 AI 智慧檢測,觸發事件響應。

圖片

其實給人印象深刻與否,與是否得到大獎無關,有時專案的初衷也能打動人。比如為了聽障、視障人士開發的「譯音」,評委白宦成認為,我們這些年的網際網路為“健全人”做了很多,但對這些真正需要關注和幫助人群卻做得太少,所以對於這樣的專案,值得我們投以更多關注。

圖片

RTE 場景潛力遠不止於此

〃今年的參賽者提交作品非常踴躍,大部分作品都與社會、生活緊密結合,能看出大家是真正地想解決一些實際問題而開發。〃

——評委祁寧在看過大賽作品後感言

其實,實時互動賽道還有很大的想象空間,例如評委張乾澤就提到了一個距離大家比較近的場景,就是遊戲與沉浸式音視訊。遊戲和沉浸式音視訊體驗互動應該是未來實時音視訊的進化方向。以前的實時音視訊還停留在“準備好一個固定的環境,然後大家加入,在設定好的玩法下進行互動”的模式。但將來的模式可能會更強呼叫戶之間的直接互動,由使用者直接進行互動和創造玩法,進而獲取沉浸式的使用體驗,真正地讓實時音視訊像空氣和水一樣無處不在。

從未來看,音視訊會成為一種基礎服務,如何對將它與其它技術更好的結合應該是未來的一大技術方向。評委李超與祁寧都認為,如果圍繞實時音視訊來看,還有很多場景有待挖掘,例如利用實時音視訊技術代替繁瑣的簡訊身份認證機制;在面向養老場景上,這次也有很多參賽者開發了作品,但思路還是主要圍繞音視訊的通話、聊天等,其實還可以從人性化角度考慮,做出更多創新。

當然,評委們也鼓勵大家跳出實時音視訊的思維“禁錮”,白宦成就提出了一個想法“大家可以從計算機實現的角度來看,當我們把所有需要輪詢才能實現的專案改造成實時的,產品和業務會發生什麼樣的變化?此外,除了對傳統業務實現的改造,還可以是一些數字化場景的加入,這裡面的機會很多,就看創業者願不願意去抓了。”

實時互動的場景還有很多值得挖掘的地方,每一次創新都有可能讓使用者的互動體驗更沉浸。而實時互動又不只侷限於音視訊的互動,跳出“思維的盒子”,或許也能開闢出一片新藍海。如果你有什麼想法,也歡迎留言與我們交流。

預告

本屆獲獎團隊將逐一詳細分享他們的開發心得,後續將釋出在『聲網Agora 開發者』公眾號,可以掃碼關注。

圖片

相關文章