[ML] Activation function

활성(화)함수란 입력을 받아 활성, 비활성을 결정하는데 사용되는 함수이다.

 

문제의 결과가 직선을 따르는 경향이 있다면 선형함수를 주로 이용한다.

2개를 분류하는 문제일 때는 Vanishing Gradient Problem때문에 sigmoid는 잘 사용하지 않고 

ReLU와 그 변형된 활성화함수를 주로 이용한다.

3개 이상을 분류할 때 주로 Softmax와 그 변형된 활성화함수를 주로 이용한다.

 

 

 

 

 

 

 

 

sigmoid 함수(2개 이하의 class)의 일반화 -> softmax (3개 class 이상일 때)

we can consider the softmax function as a generalization of the sigmoid function that allows us to classify more than two classes.

 

softmax regression ( multinomial logistic regression )

 

---

 

[모두의딥러닝] Logistic (Regression) Classification