[ML] Logistic regression, Binary Cross-Entropy Loss, binary classifcation

• binary classification ( 0 or 1 )

->  logistic regression

 

 

• multi level classification

 

 

분류(Classification)와 로지스틱 회귀(Logistic Regression)의 Hypothesis

분류는 이항분류(Binary Classification)와 다항분류(Multinomial Classification)로 구분됩니다.

​

이항분류는 두가지 분류를 하는 방법입니다.

- 메일이 스펨인가 아닌가

- 주식이 오를것인가 내릴것인가

등등..

보통 0과 1로 구분을 하며 0은 부정적인 분류, 1은 긍정적인 분류로 처리합니다. (꼭 이렇게 할 필요는 없습니다)

​

이항분류를 선형회귀를 이용하여 수행할 경우 문제가 생깁니다.

​

다음과같이 종양 크기에 따라 양성종양인지 악성종양인지에 대한 데이터가 있습니다.

크기에 따라 양성은 0, 악성은 1로 구분해놓았습니다.

​

이항분류를 선형회귀를 이용해서 진행해보겠습니다.

 

선형회귀의 Hypothesis인 h(x)를 이용해서 파랑색으로 그은 선의 중앙을 기점으로 왼쪽은 음성, 오른쪽은 양성이라고 판단하면 되겠네요.

if h(x) >= 0.5, predict y = 1

if h(x) < 0.5, predict y = 0

이렇게보면 문제가 없어보입니다. 여기서 데이터를 하나 더 추가해보겠습니다.

좀 오른쪽에 데이터 하나를 추가했고 다시 선형회귀 h(x)를 이용해서 적절히 선을 그어보겠습니다.

선을 어떻게 그어도 종양의 종류를 정확하게 분류할 수 없습니다.

​

이런 문제 외에도 선형회귀를 사용하게 되면 학습데이터에 결과를 0이나 1로만 설정한다고 해도 Hypothesis의 결과값은 1보다 크거나 0보다 작을수도 있습니다.

​

따라서 이런 문제를 해결하기 위해 로지스틱 회귀(Logistic Regression)를 이용합니다.

(실제로는 분류 알고리즘이지만, 역사적인 이유로 회귀라는 말이 붙었다고 하네요..)

 

 

 

 

로지스틱 회귀의 Hypothesis는 시그모이드 함수(Sigmod Function, =Logistic Function)를 이용합니다.

 

 

Binary Cross-Entropy Loss

Sigmoid activation 뒤에 Cross-Entropy loss를 붙인 형태로 주로 사용하기 때문에 Sigmoid CE loss라고도 불립니다.

→ Multi-label classification에 사용됩니다.

 

• Caffe: Sigmoid Cross-Entropy Loss Layer
• Pytorch: torch.nn.BCEWithLogitsLoss
• TensorFlow: tf.nn.sigmoid_cross_entropy_with_logits

 

[Classification] Cross entropy의 이해, 사용 방법(Categorical, Binary, Focal loss)