作者&編輯 | 言有三

啟用機制是一個網路非線性表達能力的來源，早期研究人員已經設計出了不少的啟用函式，從sigmoid到relu系列，關於詳細解讀可以檢視往期文章。

隨著AutoML技術的發展，現在研究人員開始使用搜尋技術來進行設計，本文簡介相關技術發展。

1 從Relu到Swish

Google Brain是AutoML的先驅，從自動設計網路的NAS到自動資料增強的AutoAugment，因此很自然也最早做自動搜尋最優的啟用函式工作。

文[1]就在一系列一元函式和二元函式組成的搜尋空間中，進行了比較細緻的組合搜尋實驗。

結論是好用的啟用函式都比較簡單，不會超過兩個基本函式的乘的組合。搜到了一些比Relu表現更好的函式，最好的是一個這樣的函式：x · σ(βx)，被稱為Swish，它在某個特定的引數下也和ReLU及其變種類似，看看圖就知道了。

該方法做實驗時的一元函式和二元函式的搜尋空間已經覆蓋我們能想到的一些簡單的函式了。

後來研究者們[2]驗證了Swish甚至在很多的NLP任務中都非常有效。

在Swish的基礎上，後續的研究人員設計了EliSH，HardEliSH[3]，並針對不同的任務學習到了最好的啟用函式。

2 Hybrid DNN

每一個網路層都使用同樣的啟用函式，這是最優的配置嗎？顯然不是。Hybrid DNN[4]的研究人員就研究了對不同的網路層進行不同啟用函式機制的搜尋問題，其流程如下：

從流程上來看，就是有一個啟用函式庫，然後每次從中選擇配置到每一個網路層，使用驗證集精度來進行最優配置搜尋。

關於每一個網路層配置不同的策略，以後我們還會講到不同的歸一化層等配置，這也是一個小的研究方向吧。

參考文獻

[1] Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

[2] Eger S, Youssef P, Gurevych I. Is it time to swish? comparing deep learning activation functions across NLP tasks[J]. arXiv preprint arXiv:1901.02671, 2019.

[3] Basirat M , Roth P M . The Quest for the Golden Activation Function[J]. 2018.

[4] Marchisio A, Hanif M A, Rehman S, et al. A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks[J]. arXiv preprint arXiv:1811.03980, 2018.

[5] Nwankpa C , Ijomah W , Gachagan A , et al. Activation Functions: Comparison of trends in Practice and Research for Deep Learning[J]. 2018.

總結

本次我們討論的內容不涉及到一些學習引數的啟用函式如Prelu，而是集中於全新的啟用函式形式的探索以及逐層自適應的方案。研究點雖小，也有可以關注一下的。