神經網路中使用的啟用函式

①感知機：階躍函式

import numpy as np
def step_function(x):
    y= x>0
    return y.astype(np.int)

②神經網路：sigmoid()函式   二元分類問題

import numpy as np
def sigmoid(x):
    return 1/(1+np.exp(x))

③神經網路：softmax()函式   多元分類問題

import numpy as np
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a -c) #防止溢位
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

 

④神經網路：恆等函式   迴歸問題

def identity_function(x):
    return x