所有能找到反函式的目標函式，一定能夠將原目標函式的自變數提出來，重新構造目標函式以減小做梯度下降的計算量：以邏輯迴歸利用sigmoid與logit互為反函式，重新構造目標函式以減小梯度下降的計算量為例

chizi15發表於2020-09-23
函式變數梯度邏輯迴歸SigmoidGit

  1. 概述
    雖然絕大多數機器學習的最終目標函式很複雜，特別是神經網路的最終目標函式，無比複雜；但是單獨考察有些神經元或者神經元中某部分等屬於最終目標函式中一些小單元的目標函式時，可能是初等函式，如sigmoid、tanh等。如果這些初等函式存在反函式，就一定能將它們的自變數提取出來，重新構造這些小單元的目標函式，減少做梯度下降時的計算量。這是因為對因變數做梯度下降的計算量一定比對其自變數做梯度下降時的計算量大，因變數相當於對自變數取了一次複合函式，除了y=k·x這種因變數y和自變數x屬於同一計算複雜度的函式，就不必去找y的反函式了。

  2. 以邏輯迴歸做梯度下降時，利用sigmoid與logit互為反函式，將sigmoid的自變數提取出來，重新構造目標函式，以降低目標函式的複雜度，從而減小計算量為例。
    2.1. 不化簡時，對原始目標函式（loss function）做梯度下降
    在這裡插入圖片描述
    下面這段特別重要：
    從上文可以看到式①和式②還是比較複雜的，特別是將∑和Zj展開後，所以進行梯度下降時的計算量會比較大。那能不能通過簡化目標函式來減少計算量呢？由於σ(Zj)與Pj是一一對應來構造目標函式的，而Pj是常數，是Xji對應的標籤資訊，如果能找到σ(Zj)的反函式σ-1，那就能將Zj提取出來與σ-1(Pj)構造新的目標函式。因為Zj中仍包含全部自變數W，而σ-1(Pj)仍是常數，仍是Xji對應的標籤資訊，所以對原目標函式和新目標函式做梯度下降是等價的，訓練時包含的資訊是相同的。唯一的區別是新目標函式比原目標函式更簡單，所以它們的函式形態有所差別，所以如果呼叫區域性優化演算法來訓練，得到的最終W不同是可能的；如果呼叫全域性優化演算法來訓練，得到的最終W，依演算法不同應當差別很小。
    2.2. 利用σ(Zj)的反函式logit，化簡原目標函式
    在這裡插入圖片描述
    對比式③和式①，式④和式②，可以看到化簡後目標函式的n+1維的jacobian向量比原目標函式jacobian向量的每一個分量均少一個partial(σ(Zj)) / partial(Zj)，所以每一步梯度下降時計算量都會減少，自變數W維數越多，learning rate越小，迭代步數越多，減少的計算量就越多。

  3. 總結
    所有能找到反函式的目標函式，一定能夠將原目標函式的自變數提出來，重新構造目標函式以減小做梯度下降的計算量。這裡有兩個關鍵的前提：一是用反函式提取出的自變數不要漏掉任何一個自變數分量；二是與每個資料點對應的每個標籤資訊也要取相同的反函式；滿足這兩個條件後，原目標函式與化簡後的新目標函式就是等價的。

參考資料：https://content.aws.training/wbt/mldata/en/x2/1.1.1/index.html?endpoint=https%3a%2f%2flrs.aws.training%2fTCAPI%2f&auth=Basic%20OjUwMWQ1MjNiLWUyNDEtNGY3ZS1iZDFiLTU5YTcxNWQyNzczNw%3d%3d&actor=%7b%22objectType%22%3a%22Agent%22%2c%22name%22%3a%5b%22zO0Ce69FvkWvZv5k0opDOA2%22%5d%2c%22mbox%22%3a%5b%22mailto%3alms-user-zO0Ce69FvkWvZv5k0opDOA2%40amazon.com%22%5d%7d&registration=1d47ef38-9898-4046-a598-dd3bc59f09c4&activity_id=http%3a%2f%2fLAn4VsAyE6vTD0OU2kB369WBqZ4lKN8p_rise&grouping=http%3a%2f%2fLAn4VsAyE6vTD0OU2kB369WBqZ4lKN8p_rise&content_token=f6875d03-60ac-4227-bbf7-5eb26ef925b9&content_endpoint=https%3a%2f%2flrs.aws.training%2fTCAPI%2fcontent%2f&externalRegistration=CompletionThresholdPercent%7c100!InstanceId%7c0!PackageId%7cmldata_en_x2_1.1.1!RegistrationTimestampTicks%7c15780146967044817!SaveCompletion%7c1!TranscriptId%7cU0mFdZik6ke4e7nh6tyqtA2!UserId%7czO0Ce69FvkWvZv5k0opDOA2&externalConfiguration=&width=988&height=724&left=466&top=0#/lessons/Akhxb_zDpWioMtgSHQ_JcJ3xEZomKa43

相關文章