百度AR&VR技術沙龍

百度AI發表於2018-08-27

8月24日,北京朝陽門氪空間迎來了第81期百度技術沙龍。本期技術沙龍特邀百度 AR 團隊與百度 VR 團隊的資深技術工程師,圍繞百度 AR 與 VR 的核心技術能力及實戰應用展開分享。

百度AR&VR技術沙龍

在國內擴增實境虛擬現實領域,百度以深厚的技術壁壘構建了獨具優勢的生態開放平臺,為開發者及合作伙伴提供優質的一站式解決方案,佈局深入教育、實訓、營銷等多個領域。而本次沙龍主要從技術角度對 AR、VR 平臺進行了深度解析,為到場的開發者與企業代表帶去了滿滿的乾貨。

作為國內領先的擴增實境生態開放平臺,百度 AR 首先分享了今年全新升級的 DuMix AR 3.0,全面升級人機互動能力並開放更多工具,在滿足 AR 開發者更多維度需求的同時幫助他們實現更簡單的流程和更高效的分發。

 打通底層硬體至業務場景 

 的跨越式佈局 

百度AR&VR技術沙龍

百度 AR 資深研發工程師馬曉昕

《Dumix AR 平臺3.0—人機互動的升級》

大多數情況下,行業內的 AR 企業根據自身優勢或業務形態,聚焦於其中2~3個能力層級;而百度憑藉在 AI 領域的深度累積,形成了以相容主流 AR 硬體裝置為基礎、跨越“技術層+內容層+業務場景”的完整佈局,開發者可以透過不同層級的能力自由組合,生成滿足自身業務場景需求的解決方案。

百度AR&VR技術沙龍

 10+核心能力開放 

 一站式 AR 內容平臺 

Dumix AR 3.0為開發者提供了“技術+內容”雙平臺,技術開發者可以將 AR 應用託管至內容開放平臺,同樣內容開發者也可以將生產的內容私有化部署至技術開放平臺。

百度AR&VR技術沙龍

對技術開發者來說 Dumix AR 3.0提供了很高的自由度。不僅全面開放了手勢、肢體、通用 SLAM 演算法、背景分割等十餘項 AR 核心能力,更是行業裡首個將人臉識別能力面向開發者開放的 AR 平臺;8類適用於不同場景的 AR 引擎和4種開發框架,讓開發者能夠高效、靈活地部署最適宜的開發方案。

同時,Dumix AR 3.0為內容開發者準備了從製作工具(編輯器)、內容管理到雲端實時分發的全流程支援,幫助開發者快速實現 AR 內容製造和規模化產出。值得強調的是,這些內容不只能夠透過開發者自有渠道進行分發,而且與百度 APP 相機入口、小程式入口、百家號入口等全面打通,一鍵分發,未來也將開放百度生態內更多使用者級產品的入口。

 如何開發一個 AR 場景應用?

百度AR&VR技術沙龍

百度 AR 資深研發工程師 徐力

《百度 AR 場景渲染和互動能力簡介》

透過上述工具和能力,如何在 DuMix AR 3.0平臺上完成一個 AR 場景應用?所謂場景,就是在遊戲和 3D 開發中常提到的“Scene”,它通常是指整個虛擬畫面中所有元素的集合。而 AR 場景開發,就是實現虛實融合的渲染+虛實互動的互動。

百度AR&VR技術沙龍

百度 AR 自主研發了一整套的 AR 場景渲染和場景智慧互動的基礎能力,並以此定義了一套完整的場景開發標準和配套工具集,開發者依照標準結合自己的創意來開發自己的 AR 場景應用,並透過 DuMix Cloud 來進行部署和分發。

百度AR&VR技術沙龍

在 DuMix AR SDK 中,包含了豐富的渲染和互動基礎能力模組,來實現虛實融合的渲染和虛實之間的互動,開發者透過指令碼系統提供的 API 介面便可訪問上述所有模組的功能。

場景渲染互動模組完整相容了 ARKit 的大部分基礎功能,開發者可以在百度 AR 的自研跟蹤演算法和 ARKit 之間靈活切換;另外我們還提供了場景分散式載入的功能,有效縮短了載入過程中的使用者等待時間,提升了使用者體驗。


DuMix AR 網頁端場景編輯器透過手機實時預覽

特別需要指出,在人臉 AR 方面,百度 AR 也提供了一套完整的工具支援,它以一個 Maya 外掛的形式呈現。內容的設計師可以直接在 Maya 中製作人臉 AR 的模型和場景、為它配置人臉互動響應等,然後直接匯出為 DuMix AR SDK 中可使用的內容資源。

百度AR&VR技術沙龍

VR 方面,百度 VR 作為國內領先的一站式 VR 方案解決機構,現已全面佈局教育、實訓、營銷等重要 B 端領域。本期沙龍上,百度 VR 團隊帶來了 VR 整體解決方案設計、能力矩陣佈局等重要內容,對百度 VR 核心技術能力及 VR 開發者套件設計進行了深度解析。

 從教育口突破 

 深挖 To B 領域市場 

為什麼將業務重心放在 B 端市場?百度 VR 認為雖然 VR 行業在中國的發展只有短短几年時間,但 VR 技術已開始迅速地疊代創新,VR 市場需求的持續增長要求技術創新與儲備不斷加速。發力 To B 領域,可以讓 VR 技術在實戰應用中,獲得更多突破提升,真正做到降本增效。

百度AR&VR技術沙龍

百度 VR 團隊架構師、研發負責人柴學智

《To B 領域 VR 應用實踐》

面對龐大的 B 端領域市場,百度 VR 憑藉自身資源和渠道優勢,率先打造“VR+教育”體系,從教育領域最先入手。今年6月“百度 VR 智慧課堂”專案與安徽合肥習友路小學正式簽約合作,成立百度 VR 智慧課堂試點基地,讓社會各界瞭解 VR 產品在實踐領域的應用和突破。

百度AR&VR技術沙龍

 四大核心技術能力 

 一站式 VR 解決方案 

VR 領域的核心競爭力在於技術的積累與創新以及業務的擴充套件性,百度 VR 透過不斷提升核心技術能力,打造完善的技術框架,在實踐與應用中,為 VR 從業者提供一站式服務。

在本期分享會上,百度 VR 第一次對外公開了整體技術框架:內容平臺+技術平臺+Iaas 平臺。核心技術和創新則主要表現在 UnitySDK、Web SDK、Native SDK、XBase 等四個方面。

百度AR&VR技術沙龍

 百度 VR 整體技術框架

基於“為開發者提供技術能力和內容製造能力,幫助使用者提高 VR 內容的生產效率,同時提升 VR 內容的消費體驗”的思路,百度 VR 將根據實際需要,豐富 3D 模型/場景、3D 動效、全景圖片、VR 影片、網頁等不同內容素材源。未來還將系統梳理服務分層、業務場景化分層、服務平臺化分層的 VR 原則,增強業務擴充套件性、提高技術積累效率、可開放等技術價值。

百度AR&VR技術沙龍

 百度 VR 整體技術框架——能力矩陣

 百度 VR 開發者套件核心能力 

 解決內容開發痛點 

在 VR 技術研發領域,新產品研發最難突破的痛點莫過於硬體平臺多樣性、不同內容互動複雜程度不一致、多團隊實現路徑不統一、相似功能重複開發、內容製作成本高等問題。百度 VR 3D 技術負責人趙俊博表示:“百度 VR 開發者套件擁有六大核心能力,正在積極地幫助我們的合作伙伴和供應商降低開發成本、輸出優質內容。”

百度AR&VR技術沙龍

百度 VR 3D 技術負責人、百度資深研發工程師趙俊博

《百度 VR 開發者套件核心能力》

百度 VR 開發者套件核心能力矩陣主要包括 VR 硬體平臺適配、通用互動能力、邏輯狀態機、聯機能力、全景展示能力、資源管理。各項能力覆蓋 3D 內容開發的各個方面,從前期策劃到研發過程中的美術、程式部分,再到後期的運營管理。在 3D 內容的整個生命週期中全面積極的幫助合作伙伴和供應商適配多種硬體平臺、減少重複邏輯的開發、降低時間成本、提升內容的質量和穩定性。

百度AR&VR技術沙龍

百度 VR 開發者套件核心能力矩陣

百度AR&VR技術沙龍

百度 VR 開發者套件能力覆蓋範圍

透過本次技術沙龍的深度交流,百度 AR&VR 充分展示了打造頂級生態開放平臺的實力與決心。同時,作為百度 AI 戰略重要環節,百度 AR&VR 也將透過多樣化合作方式不斷深入各個領域,為更多產業賦能。希望越來越多的行業夥伴、開發者等加入百度 AR&VR 生態,一起用科技讓複雜的世界變得更簡單。


相關文章