論文筆記(3)-Extracting and Composing Robust Features with Denoising Autoencoders

    這篇文章是Bengio研究的在傳統的autoencoder基礎上增加了噪聲引數，也就是說在輸入X的時候，並不直接用X的資料，而是按照一定的概率來清空輸入為0。paper中的名詞為corrupted。這樣活動函式計算的時候就用這個X尖來計算，而不是用X來計算。然後演算法通過reconstruct來根據計算的Y來重構求X。

    如下圖所示，這種思路十分類似於dropout。不過dropout是在隱層做trike，而這個演算法是選擇性忽略輸入的資料。