位元組大模型團隊Depth Anything V2模型入選蘋果最新CoreML模型

新闻助手發表於2024-06-28

近日,蘋果公司在HuggingFace上釋出了20個新的Core ML模型和4個資料集,位元組大模型團隊的單目深度估計模型 Depth Anything V2入選其中。

位元組大模型團隊Depth Anything V2模型入選蘋果最新CoreML模型

CoreML是蘋果公司的機器學習框架,將機器學習模型整合到iOS,MacOS等裝置上高效執行,可在無需網際網路連線的情況下執行復雜的AI任務,從而增強使用者隱私並減少延遲。蘋果開發者可以利用這些模型更容易地構建智慧、安全的AI應用。

Depth Anything V2為位元組大模型團隊開發的單目深度估計模型。相比上一代版本,V2版在細節處理上更精細,魯棒性更強,並且和基於diffusion的SOTA模型相比,速度上有顯著提升。此外,V2版包括從25M到1.3B引數的不同大小的模型,本次蘋果收錄的CoreML版本經過HuggingFace官方的工程最佳化,採用最小的25M模型,在iPhone 12 Pro Max上的推理速度達到了31.1毫秒。該模型可以應用在自動駕駛、3D建模、擴增實境、安全監控以及空間計算等領域。值得一提的是,Depth Anything 兩個版本,論文一作均為該團隊一位實習同學。

本次蘋果公司新發布的CoreML模型涵蓋了從自然語言處理到影像識別的多個領域,開發者可使用coremltools 軟體包將TensorFlow等框架訓練的模型轉換為Core ML格式。 透過利用 CPU、GPU 和神經引擎最佳化裝置上的效能,Core ML可最大限度地減少記憶體佔用和功耗。

位元組大模型團隊Depth Anything V2模型入選蘋果最新CoreML模型


相關文章