밤이라구요

정리

정리

정리

정리

Overfitting Training data의 feature에 과하게 특화되어 model이 전혀 다른 input에 올바르게 동작하지 못하는 상태를 말한다. 반대되는 개념으로 underfitting이 있다. Overfitting을 피하는 방법은 다음과 같다. (일반적으로 underfitting은 잘 일어나지 않는다. Underfitting이 발생하였다면, feature 수를 늘려주면 된다.) Training data 늘리기 Feature 수 줄이기 Regularization 적절한 Model 선택하기 Cross Validation Feature Selection/Extraction Feature 중 구분에 도움이 되는 feature를 선택하거나, 여러 feature의 조합으로 새로운 feature 하나를..

Classification Sample에 대해 class를 구분하는 과정이다. Logistic Regression Sigmoid function을 이용해 나타낼 수 있다. Decision Boundary Sample을 구분할 수 있게 해주는 경계면이다. Linear와 non-linear boundary가 존재한다. Cost function Linear regression에서는 cost function이 convex임을 가정하여 Gradient Descent 방식을 사용해 parameter $\theta$값을 찾았다. 하지만 classification에서 사용하는 함수는 non-convex한 것이 일반적이다. 대안으로서 사용하는 것이 다음의 logistic regression cost function이다...

1. Model representation Regression의 목표는 주어진 data(파란색)를 분석해서 새로운 Input에 대해 알맞은 결과를 예측하는 것이다. 그중 Linear regression은 결과를 연속적으로 예측할 수 있도록 빨간 선과 같은 알맞은 함수 모델을 찾는 것이 목표이다. 모델을 찾는 과정은 다음과 같다. 1. Function Hypothesis : $h_{\theta}(x) = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + \cdots$ 2. Cost Function : $J(\theta_{0},\theta_{1}) = {1 \over 2m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$ 3..

1. 개요 Supervised Learning - Linear regression - Logistic regression - Neural Network - Support vector machine - Ensemble learning, Adaboost - Decision Tree, Random Forest Unsupervised Learning - Clustering - EM algorithm - Auto-encoder - Principal component analysis - Collaborate filltering - Semi-supervised learning Sequential Learning - Hidden Markov Model Reinforcement Learning - 2. Supervise..