HMS Core機器學習服務影像超分能力,基於深度學習提升新聞閱讀體驗

HMSCore發表於2022-03-28

在移動端閱讀資訊時,人們對高解析度、高質量的影像要求越來越高。但受限於網路流量、儲存、圖片源等諸多因素,使用者無法便捷獲得高質量圖片。移動端顯示裝置的高解析度圖片獲得問題亟待解決。不久前,HMS Core新聞Demo App針對新聞垂域的閱讀體驗做了一系列更新優化,其中就包括影像超分。

影像超解析度(Super Resolution)指的是從給定的低解析度(LR)影像中恢復高解析度(HR)影像的過程,是計算機視覺影像增強領域重要的研究方向。HMS Core新聞Demo App為解決使用者觀看新聞資料的過程中圖片不清晰的問題,使用了務機器學習服的影像超分能力。使用者在新聞閱讀介面點選圖片,可以看到圖片選單顯示“使用ML服務進行影像超分”,再點選就能快速收穫高質量圖片。它還支援圖片的下載和儲存。同等大小的圖片,通過影像超分後解析度普遍提升100%~300%,能夠有效解決圖片因低解析度而影響使用者瀏覽體驗的痛點。

技術背景

那麼,HMS Core機器學習服務影像超分能力是怎樣實現的呢?

一般來說,對於影像解析度不足的問題,傳統的解決方法主要是**基於插值的超解析度重建和基於退化模型的超解析度重建。

基於插值的超解析度重建方法通常提供過於平滑的重建影像,是通過最近鄰插值法、雙線性插值法和雙立方插值法來補充失去部分的畫素細節,從而來增強影像的解析度。

基於退化模型的超解析度重建方法則是從影像高解析度到低解析度的降質退化模型出發,通過提取低解析度影像中的關鍵資訊,並結合對未知的超解析度影像的先驗知識來約束超解析度影像的生成。

然而傳統解決方法存在計算成本高、效能不穩定等問題。隨著人工智慧,尤其是深度學習在計算機視覺中的廣泛應用,人們開始探索使用智慧的方法來克服傳統技術的諸多弊端,比如基於深度學習的超分演算法

基於深度學習的方法就是利用大量的訓練資料,學習低解析度影像和高解析度影像之間某種對應關係。然後根據學習到的對映關係來預測低解析度影像所對應的高解析度影像,從而實現影像的超解析度重建過程。

技術優勢

HMS Core機器學習服務的超解析度演算法基於深度神經網路,依託硬體的神經網路加速器,提供了適用於移動終端的1x和3x的超分能力。1x超分是在解析度不變的情況下去除壓縮噪聲,獲得更加銳利、乾淨的圖片;3x超分在有效抑制壓縮噪聲的同時,使用智慧方法將其放大,令其解析度更高,提供3倍的放大能力,得到更加清晰的細節紋理。

並且超解析度演算法依託華為手機強大的NPU晶片,對最大800x600的圖片進行超分時,僅需不到600毫秒的時間,相比於純CPU計算,速度提升了近50倍。超解析度API的附加ROM、RAM消耗也非常小,內建於華為手機中,可以在有效減小應用程式尺寸的同時讓應用更加輕便。

由此得知,HMS Core機器學習服務影像超分能力在計算機視覺中的廣泛應用,具有高畫質、高速度、超輕便的技術優勢,可有效抑制壓縮噪聲,節省儲存和流量。在圖片解析度不足的情況下,大大改善小圖片放大瀏覽時的體驗。

影像超解析度除了在新聞閱讀場景中提升閱讀體驗,還可應用於醫學成像、天文觀測、生物資訊識別等領域,HMS Core機器學習服務影像超分能力也將持續進行技術革新,為更多行業提供實用高效的解決方案。

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開發指導文件
華為移動服務開源倉庫地址:GitHubGitee

關注我們,第一時間瞭解 HMS Core 最新技術資訊~

相關文章