對偶學習_劉鐵巖_微軟亞洲研究院

TensorPro發表於2018-03-18
微軟
1.人工智慧的挑戰
    （1）big training data  ——》Labeling cost   觀點：深度學習沒有大量標記資料工作效果並不好，甚至不可工作。
如：image classification 有上百萬張標記影象
       Speech recognition 有上千小時註解的語音資料
       machine translation  數百外對對應句子
      and so on.....
對於標籤資料不足的解決方案：
      標籤傳播演算法、Multi-task learning、Transfer learning、Transductive learning 傳導式學習
對偶學習：
            在人工智慧領域非常常見
        AI task       x--y                                       y--x
      機器翻譯     英文--》中文                        中文--》英文
      語音處理     語音識別                               文字轉語音
      影象理解     圖片描述                               影象生成
      QA系統       問題回答                               問題生成
    關於dual learning 的文獻
                 Dual unsupervised learning(NIPS 2016)
                 Dual supervised learning(ICML 2017)
                 Dual inference (IJCAL 2017)
                 Dual transfer learning(AAAI 2018)
  
    （2）big computation ——》Effectiveness-efficienty tradeoff
               微軟亞洲研究院的研究：
                         分散式機器學習
                          lightweight machine learning
                              開源工具：LightGBM（據說效果好於XGboost），lightRNN ，lightLDA
    （3）black magic ——》 Empirical hyperparameter tuning
微軟研究： learning to learn
                   learning to teach

    （4）blackbox learning ———》lack of interpretability 缺乏解釋性
    （5）Single-minde solution  :觀點  深度學習並不是唯一的解決方案
    （6）Far from human intelligencce
  2.以機器翻譯作為例子
  
                    En -->Ch translation
                    primal Task f:x--->y
agent A   ---------------------------------------------->  agent B     
                <---------------------------------------------
                    Dual Task g:y--->x
                    Ch--->En  translation

大概過程：學習返回的殘差（使用到強化學習）
                 數學原理：P（x,y） = P(x)P(y|x;f) = P(y)P(x|y;g)     貝葉斯公式的思想
                                                    primal view       dual view


體會：
               DL有萬能逼近某個函式 但是不等於人類智慧
                人有無意識的動作
               relu sigmoid 函式過於簡單，sin cos 函式就是複雜函式
               機器翻譯不解決文化問題  如：負荊請罪翻譯為英文，機器做不到。。
               讀paper要有批判性讀，發現問題，解決問題。

相關文章