最新最簡易的遷移學習方法，人員再識別新模型 | AI一週學術

大資料文摘專欄作品

作者：Christopher Dossman

編譯：笪潔瓊、Conrad、雲舟

嗚啦啦啦啦啦啦啦大家好，本週的AI Scholar Weekly欄目又和大家見面啦！

AI Scholar Weekly是AI領域的學術專欄，致力於為你帶來最新潮、最全面、最深度的AI學術概覽，一網打盡每週AI學術的前沿資訊，文末還會不定期更新AI黑鏡系列小故事。

週一更新，做AI科研，每週從這一篇開始就夠啦！

本週關鍵詞：影像到影像的轉換，人員再識別，遷移學習，視訊分割

EHR（電子健康記錄）資料中的持續AKI（急性腎損傷）預測，全新、簡單的遷移學習，提高了影像到影像的翻譯，增強視訊中主體和行為分割，基於模型的強化學習應用於Atari遊戲，幾何感知的深度LiDAR測距，基於屬性的行人重識別，等等。

一組來自美國的研究人員最近提出了一個模型，可以根據住院患者的EHR資料持續自動預測AKI。AKI是指住院患者在幾天內腎功能突然喪失，可導致極為嚴重的醫療併發症，因此需要立即治療。好訊息是，如果被發現的及時，AKI是可以被預防的。更好的訊息是，如果被快速診斷並治療，AKI或許是可痊癒的。

由於AKI的成功治療依賴於快速診斷，因此它是預測分析的完美候選。幾個機器學習預測模型已經被建立，用於通過EHR資料預知住院病人AKI的情況。但是現有的模型只能在固定的時間範圍內預測住院病人AKI，這個時間範圍可以是病人入院後24小時、48小時或更長時間。這是一個挑戰，因為病人情況在幾個小時內就可以顯著變化，這使得很多的AKI情況變得難以預測。

在上述挑戰的激勵下，研究人員開發了一種新的模型，可以在患者住院期間出現AKI之前不斷預測AKI。新的模型方法可以在病人的資料每次發生變化時預測AKI，而不需要“等待”特定的時間來做出預測。這個模型被設計成使用EHR資料自動工作，在需要時可以觸發警報，因此不需要持續監控。測試結果顯示，對比之前的傳統預測模型，該模型具有較高的預測精度和實時性。

潛在應用與效果

這是醫療診斷裡令人印象深刻的研究！由於能夠進行連續的AKI預測，新模型可以應用於迴避過去的預測模型所面臨的諸多缺點，將住院患者從直接腎衰竭引起的眾多痛苦中拯救出來，並從根本上降低之後的醫療成本。另外，該框架具有廣譜性，也可用於從EHR資料持續預測其他疾和障礙。

原文：

https://arxiv.org/abs/1902.10228v1

許多傳統的遷移學習方法都是利用預先訓練好的語言模型（LMs）來實現的，這些模型已經非常流行，並且具有翻譯上下文資訊的能力、高階建模語法和語義語言特性，能夠在物件識別、機器翻譯、文字分類等許多工中生成高質量的結果。

然而，現有的LMs也面臨著一些缺點，包括計算成本高和對特定任務架構的需求。另外，很多模型需要對手頭任務進行預訓練和引數調整。然而，現在情況不同了，因為研究人員最近釋出了一種新的單步遷移學習方法，不需要預訓練或引數調整。此外，新方法在所有任務中都優於包括ULMFiT在內的最先進的轉移學習方法。

SiATL是一種簡單而有效的遷移學習方法，它解決了災難性遺忘的問題。SiATL結合了一個特定任務的函式和一個在訓練過程中進行調整的、基於預訓練的LM的輔助LM損失，並將其權重重新分配給分類器。這項改變使得它能夠儲存由語言模型捕獲的語言規則，同時為解決任務提供足夠的適應性。

正如在介紹中提到的，SiATL並不要求預訓練或引數調整，因此要使用起來真的非常便捷。該模型已經在大量有挑戰性的文字分類任務中進行測試，並且產生了相當有競爭力的結果，表現出其優於尋常遷移學習方法的能力。

正如你已經知道的，模型訓練不必從零開始。SiATL能夠利用為一個任務訓練的模型，並以一種相對直接的方式將其應用到另一個領域。在資料不充分的情況下，它也可以派上用場。

對資料科學家和開發人員來說，SiATL提供了一種簡單、廉價和實用的方法來加速模型訓練，並具有遷移學習能力，從而為各種應用程式（如語音識別、智慧視訊分析、問題回答系統、醫學成像等）提供了更高的效能。

原文：

https://arxiv.org/abs/1902.10547v1

受CV和NLP對物件檢索、物件跟蹤、人員搜尋等領域的最新進展啟發，研究人員新提出了一種演算法，能夠將視訊中的參與者及其動作從自然語言查詢輸入中分割出來。現存的模型主要是通過主體或成對動作的固定詞彙表來學習分割的，而新方法則是從自然語言輸入的查詢來推斷出分割的。不論你的輸入是一隻飛翔的鳥或者跳躍的人，這一新模型都能結合視訊和語言資訊來進行高層次的畫素級分割。

提出的全卷積模型實現了一種針對視訊進行優化的編解碼器體系結構，主要元件包括文字編碼器、視訊編碼器和解碼器。新模型不是在影像分割中，而是在視訊分割中對參與者及其行為進行優化，使其能夠同時利用流和RGB。

研究人員擴充套件了A2D和J-HMDB標準資料集，其中包含7000多個描述視訊內容中出現的角色和動作的文字語句，以展示新模型的潛在能力。結果表明，句子引導的畫素級效能明顯優於最先進的演算法。

潛在效果與效應

實驗證明了模型的實用性和魯棒性，這一成果能夠幫助研究人員和實踐者理解視訊中分割成對的主體和行為。該模型具有泛化特徵，是實現在視覺訊號處理、高階視訊分析與處理、醫學成像、三維結構等方面更高效應用的重要資源工具。

原文：

https://arxiv.org/abs/1803.07485v1

當涉及到學習執行復雜任務的有效策略時（例如玩Atari遊戲）無模型的強化學習很合適。然而，雖然人類玩家可以在幾分鐘內學會如何玩Atari遊戲，但為機器開發基於模型的RL模型是複雜的，因為它需要無數的互動和大量的訓練時間。

雖然這些方法的複雜性在近年來有了很大的降低，但與人類玩家學習Atari遊戲所需的經驗相比，它的複雜性仍然要高得多。有一些基於模型的RL成功案例，比如TD-gammon。但是，後來的大多數嘗試，包括國際象棋和圍棋，都沒有這麼成功。

研究人員專注於探索學習視訊模型如何在Atari學習環境（ALE）基準中實現學習，預算限制在10萬步（大約2小時遊戲時間）。

他們提出了一個完整的基於模型的深度RL演算法SimPLe，它在基於模型的強化學習中超越了最先進的模型。經過與現有方法的簡單測試和比較，新方法只用10萬次互動即可獲得有競爭力的結果，相當於兩個小時的實時遊戲。

SimPLe有潛在的隨機隱變數並因此可以被應用於隨機領域。基於隨機預測模型的基於模型的RL是一種很有前途的、高效的替代無模型RL的方法，因為它可以用於生成高保真的模擬環境，以及用於機器人和自動駕駛等高階應用的真實世界資料。

原文：

https://arxiv.org/abs/1903.00374v1

通常，測程法模組是基於模型的，主要使用RGB-D相機和鐳射雷達。雖然這樣的模組具有很高的效能，但基於模型的方法面臨著很多挑戰，包括易受環境干擾和引數選擇問題等等。也就是說，在使用鐳射雷達進行基於學習的測距問題上，人們的努力已經達到一定瓶頸了。

基於學習的鐳射雷達深度學習方法已經在過去的許多研究工作中得到了回顧，研究人員使用一個有監督的學習框架，並面臨著將密集點雲處理成深度神經網路的挑戰。由於以前的方法依賴於有監督的學習，這種學習需要有標記序列的基本事實，因此研究人員現在已經提出了一種無監督的深度鐳射雷達測程法。

DeepLo是一種新的方法，它代表了LiDAR中第一個無監督的基於學習的測程法。DeepLo將迭代最近點（ICP）技術整合到深度學習框架中，可以使用有監督或無監督的方法進行訓練。它還整合了兩個損失函式，允許在訓練階段中根據引數將模型在有監督和無監督學習之間切換。為了有效的進行無監督訓練和預測，研究人員將頂點和法向圖作為輸入，並將其用於損失計算。

DeepLo已經使用著名的Kitti和牛津Robotcar標準基準資料集進行了評估。新的方法被證明具有更高的效能和效率。

自主的研究人員和工程師，以及整個人工智慧社群，無論配置或硬體型別如何，都可以將DeepLo用於鐳射雷達點雲，以在模型訓練期間實現可擴充套件性和靈活性。

DeepLo還為他們提供了實現有效的同時定位和繪圖（SLAM）的能力，可用於各種應用，如自動汽車、機器人、3D繪圖等。

原文：

https://arxiv.org/abs/1902.10562v1

整合方法通過裝袋或增強來減少誤差或提高準確性，從而改善機器學習（ML）模型。整合方法也被用於強化學習（RL），即在不同的RL操作上使用聚合機制來實現穩定性，提高收斂速度或改進探索行為。

但是，如果你能使用整合方法來獲得更高的效能和準確性呢？新的研究表明，你可以通過社會理論來改善Q-Learning。

一組研究者已經證明，可以通過平行引入社會選擇理論中的委員會投票規則來實現很多整合方法。他們已經將在整合方法中設計動作聚合機制的挑戰對映到具有不同投票規則的投票問題中，這些投票規則已經產生了流行的基於整合的RL演算法，例如多數投票Q-Learning或自舉Q-Learning。

與傳統方法不同，新的統一方法允許人工智慧設計者建立效能更好的整合RL演算法。例如，研究人員將兩個以多樣性為中心的委員會投票規則（包括單一不可轉讓投票規則和Chamberlin-Courant規則）對映到全新的RL演算法中，這些演算法在測試實驗中表現出了出色的探索性行為。

由於計算能力不斷增強，開發人員可以在合理的時間範圍內訓練大型整合學習模型，因此其應用潛力會不斷增強。

統一整合方法可用於減少訓練資料過度擬合的挑戰。此外，它們還可用於增強遙感，航拍製圖，電腦保安，欺詐檢測，人臉識別，基於財務的決策，健康應用，災害監測中的變更檢測等方面。

原文：

https://arxiv.org/abs/1902.10646v1

近年來，人員的再識別受到了研究界和業界的廣泛關注。而且，雖然這一領域已經相對成熟並吸引了許多人工智慧研究人員，但視覺視角的變化、被檢測者姿態的不確定性仍然給它的應用帶來了巨大的挑戰。當試圖判斷兩個影像是否具有相同的身份時，這些挑戰可能會使結果出現較大偏差。

此外，由於人體目標檢測仍然使用傳統的方法，邊界框可能是不準確的，當這一缺陷結合到人體的姿勢變化時，會導致兩個影像之間出現空間錯位。同樣，我們也不能忽視在現實的視訊監控場景中經常出現的遮擋問題。

為了解決這些問題，研究人員一直在繼續尋找更好的人員再識別模型，包括採用深度學習特徵表示。

在過去的研究中，人員再識別任務的屬性學習已經被研究過了，並且在被視為中級語義特徵時顯示出了巨大的潛力。

研究人員使用屬性學習過程作為定位器來處理偏差問題。這是演算法史上首次將屬性學習的感知能力公開地運用到人的識別任務中。

他們設計了一個簡單但有效的模型來通過屬性識別人。為了進行有效的表示，模型會利用融合後的屬性資訊過濾掉不可用的資訊。APDR已經在兩個流行的基準上進行了全面的測試，其中包括Market-1501和DukeMTMC-reID。與最先進的模型相比，該模型具有有效性和競爭力。

潛在應用及效果

這一新方法能夠促進人員再識別任務的執行。它對正在進行的研究工作、影像檢索任務和視訊監控應用具有重要意義。

原文：

https://arxiv.org/abs/1902.10528v1

過去一段時間裡人們對影像到影像的轉換越來越感興趣。這主要是因為基於迴圈一致性假設的無監督模型成功地推動了這一領域的發展。然而，上述成功僅限於特定的子領域類別，如以樣式或紋理差異為標誌的領域。

最近，一組研究人員已經解決了這個具有挑戰性的問題，並通過一個全新的模型證明了域可以通過樣式和紋理來定義，從而包含任何影像混亂和異質性。

TraVeLGAN是研究人員最近釋出的一種全新方法，用於實現無監督域對映。還記得傳統的GAN網路嗎？

它引入了一個鑑別器網路來引導生成器在目標域生成影像。TraVeLGAN在原始的兩個網路中新增了第三個網路——一個siamese網路——作為生成器的指導，這樣每個原始影像都可以與其相應的生成版本共享語義。

因此，這三個網路系統使得生成器網路不必受到當前週期一致性限制的約束。最終的結果是，生成器模型可以學習複雜域之間的對映，這些複雜域之間的對映在樣式和紋理方面有所不同。

潛在應用及效果

TraVeLGAN無疑將影像和物件操作提升到了另一個層次。人工智慧社群可以應用這一方法在一個影像集合中捕獲特殊特徵，並將它們轉換為完全不同的影像集合。

其他應用還包括繪畫中的圖片生成、一般影像處理、影像增強、影像中的顏色和紋理變化、物件變形、自動駕駛場景的翻譯、採集樣式轉換等。

原文： 

https://arxiv.org/abs/1902.09631v1

專欄作者介紹

Christopher Dossman是Wonder Technologies的首席資料科學家，在北京生活5年。他是深度學習系統部署方面的專家，在開發新的AI產品方面擁有豐富的經驗。除了卓越的工程經驗，他還教授了1000名學生了解深度學習基礎。

LinkedIn：

https：//www.linkedin.com/in/christopherdossman/