時至今日，深度學習領域有哪些值得追蹤的前沿研究？

其實自從2018年三大佬靠深度學習拿了圖靈獎之後，基本宣告深度學習容易解決的問題做的差不多了，這兩年這個領域沒有太大的突破，因為剩下的問題都是硬核問題，想要比較好的解決很困難，這個可以從這幾年的頂會NeurIPS, ICML和 ICLR 可以看出來。我大體列一下自己認為值得 follow 的幾個大方向。

1. 深入反思和理解深度學習的行為: Understanding deep learning, 包括理論和完整的實驗分析。比如深度學習獲得泛化能力的來源：資料、模型和訓練演算法技巧的分析；還有深度學習學到的特徵表示究竟是什麼，寬度、深度、跳連等究竟在 representation learning 上所起的作用；深度學習穩健性，包括對噪聲變化、對結構變化、對對抗樣本的穩健性；從不同視角建模深度學習等。
2. 新模型的構建方面，主要目的是希望深度學習滿足某種性質或要求，比如可解釋性強、可信能力強的模型的構建；比如具有因果推斷能力的模型，這其實是個很重要的方向，深度學習很大的成功在於模式識別和函式擬合，其他能力很弱；比如小容量計算友好的模型等。
3. 新的資料場景或資料結構中的深度學習模型，比如semi-supervised, self-supervised或大家也稱unsupervised, transfer learning ，meta-learning等。因為已有的深度學習的成功展現在大資料的有監督上，目前關於這些挑戰場景上的理解還很少，雖然大家一頓猛發文章，本質是什麼尚不清晰，尤其是背後的設計模型的核心 principle 是什麼還是很模糊的。新的資料結構下的問題，典型代表是graph，大型 table及結構化的資料上。
4. Learning-enhanced algorithms，我自己起的名字，主要指如何利用資料驅動的方式，尤其是深度學習強大表達能力和靈活性，來解決一些傳統演算法的瓶頸問題，比如如何用learning的思路來解決一些組合問題中的搜尋策略；如何從解決多個問題中總結資料或者問題的經驗，來擴充到解決類似問題上。
5. 對應用友好的模型和演算法，尤其是精細場景以及實際落地應用中。畢竟深度學習的很多問題是應用驅動的，如何更好的解決實際應用問題也極其關鍵。這裡涉及很多，比如模型動態更新（包括類別，資料的分佈變化，資料的異質，多模態等），快速部署（衍生很多加速演算法等），便捷部署（衍生 automl），視覺化，模組化等。
6. 還有一個是和硬體結合的方向，這個也很重要，自己不是很懂。
   當然隨著逐漸發展，還有不同新的有意思的新方向、新應用出現。 不過最終深度學習這個框架和方法最終會像最小二乘法一樣，被廣泛應用，成為標準工具，但會不斷的有新的東西能挖出來。