[CS/기계학습] 3. Classification

Classification

Sample에 대해 class를 구분하는 과정이다.

 

Logistic Regression

Sigmoid function을 이용해 나타낼 수 있다.

Logistic regression

 

Decision Boundary

Sample을 구분할 수 있게 해주는 경계면이다. Linear와 non-linear boundary가 존재한다.

Linear boudary

Non-linear boundary

 

Cost function

Linear regression에서는 cost function이 convex임을 가정하여 Gradient Descent 방식을 사용해 parameter $\theta$값을 찾았다. 하지만 classification에서 사용하는 함수는 non-convex한 것이 일반적이다.

non-convex(좌), convex(우)

대안으로서 사용하는 것이 다음의 logistic regression cost function이다.

Logistic regression cost function

실제로 cost function이 잘 동작하는 지는 아래의 그래프를 통해 확인할 수 있다.

위와 같은 형태의 cost function을 사용하는 이유는 Gradient Descent의 계산이 편리해지기 때문이다.

 

Gradient Descent

$min_{\theta}J(\theta)$를 계산하기 위해 $dJ/d\theta$를 계산하면 다음과 같다.

$dJ/d\theta$

parameter를 update하는 과정이 linear regression과 같음을 알 수 있다.

 

Multi-class classification

one-vs-all 방법을 사용한다. 하나와 나머지를 분류하는 방식으로 classifier를 구한 다음, 새로운 input x에 대해서 prediction 값이 높은 classifier의 class를 찾으면 분류할 수 있다.

Multi-class classification

 

필기