我們知道，機器視覺的識別能力非常令人驚豔，它具有識別個體、人臉以及其他物體的超人類能力。
儘管在動作識別方面的績效還比不上人類，但機器視覺已經能夠識別各種不同型別的動作。
然而，機器視覺也是有一定的侷限性的。當個體、人臉、物體被部分遮擋時，機器視覺的作用就很有限了。
就像人類一樣，光線大幅度變暗的時候，機器的視覺會有一瞬間的“失明”。
但是，有一部分電磁頻譜卻並不會受到這種遮擋的限制。比如，無線電波並不會因為現在是白天還是黑夜而發生改變。無線電波能輕易地穿透牆壁，並能被人體傳播和反射。
事實上，研究人員已經探索發現了各種方法，來利用Wi-Fi無線電訊號來檢視門後的東西。
當然，這些無線電視覺系統也是有缺點的。比如，解析度很低、影像嘈雜、反射過多不集中，這些問題使得人們很難通過無線電視覺系統去理解正在發生的事情。
從這個角度來說，無線電影像和可見光影像具有互補的優缺點。因此，我們可能可以利用其中一種方法的優勢，來克服另一種方法的缺點。
在可見光影像與無線電波影像之間建立關聯
MIT的Tianhong Li團隊已經找到了一種方法，能夠用可見光影像來訓練無線電視覺系統，幫助識別人類動作。這種新型的無線電視覺系統能夠在可見光成像失敗的情況下，看到個體的狀況。
論文連結：http://arxiv.org/abs/1909.09300
Li及其團隊表示：“我們引入了一個神經網路模型，可以在光線不足的條件下，穿透牆壁或者遮擋物，檢測到人類的工作。”
Li團隊的方法有一個非常巧妙的小竅門。他們的基本思想就是利用可見光和無線電波，同時記錄同一場景的視訊影像。機器視覺系統已經能夠從可見光影像中識別人類的行為。因此，下一步就是要在可見光影像與同一場景下的無線電波影像之間，建立關聯。
在這個學習過程中，最困難的地方在於要對人類的運動進行識別，把人與周圍環境區分開來。因此，Li及其團隊引入了一箇中間步驟，讓機器產生一個簡筆畫模型，來還原人在場景中的動作，並輸入到神經網路中。
Li及其團隊表示，“通過將輸入影像轉換為基於棍狀骨架的中介表徵，我們的模型可以利用基於視覺和基於無線電頻率的資料集進行訓練，並能讓這兩種方法互惠互利，達到共贏的效果。”
通過這種方式，機器視覺系統既能利用可見光來識別動作，也能利用無線電波識別在黑暗中、或者在遮擋物後的相同的動作。
研究人員表示：“在可見光和看不見人（黑暗或被遮擋）這兩種場景中，我們的模型能夠達到同等級別的識別準確性。”
不會侵犯到個人隱私
這是一項非常有潛力、非常有趣的工作，尤其是在可見光成像失敗的場景中，如光線過暗或者關門之後。
這項工作也還是有一些其他的應用問題，其中之一就是在可見光成像的場景中，人們本來就是能被看到的，而利用無線電來識別黑暗中或被遮擋的物體就涉及到隱私問題了。
不過不用緊張，無線電系統尚未達到可以識別人臉的解析度。在不識別面孔的情況下，對人的動作進行識別，並不會引起對隱私被侵犯的恐懼。
Li及其團隊認為：“我們可以將這種動作識別方法引入家庭生活，將其整合到智慧家居系統中。”
比如，可以監控老年人的居所，以防萬一發生摔倒之類的意外時，可以提醒採取適當的措施；而且，這種應用並不會對隱私造成太大風險。
相關報導：
https://news.yahoo.com/neural-networks-see-were-doing-205300324.html