DAN改進視覺參考解析度，DRLIH實現影像復刻 | AI一週學術

大資料文摘專欄作品

作者：Christopher Dossman

編譯：jiaxu、fuma、雲舟

嗚啦啦啦啦啦啦啦大家好，本週的AI Scholar Weekly欄目又和大家見面啦！

AI Scholar Weekly是AI領域的學術專欄，致力於為你帶來最新潮、最全面、最深度的AI學術概覽，一網打盡每週AI學術的前沿資訊，文末還會不定期更新AI黑鏡系列小故事。

週一更新，做AI科研，每週從這一篇開始就夠啦！

本週關鍵詞：邊緣檢測、自動駕駛、姿態估計、影像復刻

該新模型整合了偽排練，深度生成模型和雙重記憶體方案，從而實現了一種高效的方法，即使任務數量增加，也不需要額外的儲存要求。透過迭代，該模型學習了三個Atari遊戲，並在這三個遊戲中保持了高於人類水平的表現，高效程度不亞於經過單獨訓練的一組網路。

所有這些都是在不訪問以前的任務資料的情況下實現的。與現有的深度增強任務演算法相比，新模型已經表明它們不會像傳統的模型一樣忘記之前的任務。

潛在應用與效果

研究人員和人工智慧社群可以利用新模型進一步改進研究工作，並將模型應用於前沿的電子遊戲、自動駕駛汽車和機器人中。如果有足夠大的網路，也許會誕生能處理多種任務的機器人特工。

原文：

最近，研究人員透過提出DAN增強了視覺參考解析度，為解決視覺參考解析度問題奠定了基礎。DAN實現了兩種型別的關注網路，包括REFER和FIND。REFER專門用於透過自我關注方法來學習查詢和對話歷史之間的關係。

相反，FIND採用影像特徵和參考感知表示輸入（REFER模組的輸出），並透過實施自下而上的注意技術實現視覺接地。在VisDial v1.0和v0.9資料集上對DAN的定量和定性評估表明，它在很大程度上優於現有的可視對話模型。

潛在應用與效果

AI社群可以使用DAN來實現各種視覺對話任務的視覺參考解析度，比如協作對話系統。因為它不依賴於之前的視覺注意力圖，所以DAN可以透過實施REFER元件來解決不清晰的視覺效果，並使用FIND模型元件對可檢視像進行地面解析參考。

原文：

來自中國的研究人員透過提出一種新的動態特徵融合（DFF）策略來管理動態特徵融合，該策略為不同的影像和位置分配不同的融合權重。DFF包括兩個模組，特徵提取器和自適應權重融合元件。該模型透過實施權重模型來實現動態特徵融合，從而能夠針對輸入特徵圖中的每一單個位置推斷多級特徵上的適當融合權重。

在對標準基準資料集（如Cityscapes和SBD）進行實驗後，DFF證明了它可以透過更精確地定位物件邊緣和抑制不重要的邊緣響應來大大提高模型效能。

潛在應用與效果

語義邊緣檢測旨在聯合提取邊緣及其類別資訊，以實現領域中的高階應用，包括語義分割，物件識別等。DFF是第一個旨在學習自適應融合權重的研究工作，它以輸入資料為條件，在SED研究中融合多層次特徵，以促進和實現SED任務的最新技術。透過考慮高階和低階主幹特徵對映，可以改善位置自適應權重學習器。

原文：

這項新研究定義了角落案例檢測，並提出了一個框架，可以處理來自移動車輛的前置攝像頭的影片訊號，併為線上和離線用例生成角落案例分數。根據該系統框架背後的研究人員所說，角落案例檢測系統可用作備用警告系統，以提供有關自動駕駛系統的異常場景的資訊。另外，關於離線模式，角落情況檢測框架可用於分析大量影片資料以返回異常資料。

角落案例檢測框架針對Cityscapes資料集的分段和影像預測進行了訓練，該資料集包含來自50個城市的各種街道影像。

潛在應用與效果

自動駕駛汽車研究人員和工程師可以實施角落案例框架，為自動駕駛系統開發更集中的訓練，因為它有助於解決代表性不足的關鍵訓練資料問題。該系統還有助於選擇用於儲存和（重新）訓練AI模型的相關場景。

此外，此次提出的角落案例檢測框架對於實現運動檢測，影像註冊，影片跟蹤，影像鑲嵌，3D建模，全景拼接，物件識別等方面的進一步開發是有效的。

原文：

訓練資料的缺乏大大減緩了自動駕駛技術的發展速度。而近日釋出的一種模擬模型，透過提供大量資料和資源，從而幫助工程師實現有效的自動車輛開發測試，正逐步消除這一限制。

多車輛軌跡生成器（MTG）可以將多車輛場景（駕駛相遇資料）編碼成可用於產生新的高質量駕駛相遇資料的刻度表達。這種發生器模型包括雙向變分自動編碼器和多分支解碼器兩大部分。

該研究還提出了一種新的解開度量指標，該指標具有綜合分析模擬出的軌跡及駕駛場景模型穩健度的可能性。與現有的VAE和infoGAN模型相比，這種新型生成器模型在生成高質量的駕駛場景資訊方面更佔優勢。

潛在應用與效果

多車輛軌跡生成器是自動駕駛開發中的一大進步。不僅是自動駕駛技術能因此獲益而加速發展，這一方法同樣可以擴充套件到有類似資料短缺問題的深度學習其他研究領域。

原文：

與以串聯方式連線子網路的傳統方法不同，新的HRNet方法以並聯方式連線高解析度子網路，從而可以保持高解析度，並實現準確的關鍵點預測。此外，許多現有的融合型方案結合了低階和高階表示，而HRNet執行重複的多尺度融合以增強高解析度表示，這對於高質量的姿態估計是必不可少的。

在COCO關鍵點檢測和MPII人類姿勢資料集中進行的實驗表明，HRNet較於傳統方式更加有效。此外，HRNet在PoseTrack資料集上進行測試上也表現出了在姿勢跟蹤方面的優勢。所有模型和程式碼均可在此連結上公開獲取。

潛在應用與效果

研究人員和開發人員可以將HRNet應用於高階物件檢測，動態識別，語義分割，人機互動（HCI），虛擬現實，擴增實境，人臉識別及比對，影像識別及分類，翻譯以及其他依賴跟蹤和識別人類活動而實現服務的應用，例如Amazon Go。我很期待有一天我的智慧手機可以告訴我我的舉重姿勢是否正確。

原文：

DRLIH是第一個從深度強化學習角度去解決影像復刻挑戰的研究專案。

這種深度學習網路包括特徵表示網路和策略網路。策略網路利用遞迴神經網路（RNN）作為代理，按時間順序將影像投影為二進位制程式碼。

這樣的網路設計有助於生成影像並將其投影到復刻程式碼1中，並計算復刻程式碼0的機率。研究人員還提出了一種順序學習策略，透過糾正先前函式的錯誤來提高檢索準確性，從而學習復刻函式。DRLIH方法已經在三個標準資料集上進行了測試，結果證明它比傳統影像復刻方法有效。

潛在應用與效果

DRLIH 技術可以準確地表示，索引，檢索和自動識別影像。透過查詢影像是否為原始影像的構造或副本，它可用於影像有效性的驗證。DRLIH還可用於本地儲存或快取的有效性驗證，防止照片重新傳輸或重複儲存，以及目前透過水印實現的版權保護等。

原文：

新的研究提出了一種處理這一長期挑戰的新方法。研究人員評估了各種嵌入方法，包括word2vec，GloVe fastText，ELMo和BERT。他們還進行了涵蓋四個臨床概念語料庫的分析，以證明上述每種技術的普遍性。

更重要的是，他們使用大型臨床語料庫開發預訓練的情境化嵌入，並將效能與預訓練模型進行了比較。

最後，他們的論文詳述了與開放領域語料庫相比，預訓練對臨床語料庫影響的詳細分析，並總結報告了臨床概念提取的效能提升：該提取在所有測試語料庫中實現了最先進的結果。研究結果顯示出語境嵌入在臨床文字語料庫中的優勢，其在各類任務的完成上都優於傳統模型。

潛在應用與效果

對於臨床概念提取，上下文嵌入有大幅度改善自動文字處理的潛力。

此外，它還使研究人員對臨床文字的訪問更加無障礙，從而進一步推動該領域的資訊管理和非結構化臨床文字的資料探勘。

原文：