2018/01

Neural Networks - Model representation

Neural Networks: Model Representation 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 예로부터 사람의 뇌는 굉장히 신비하고 무한한 탐구의 영역이였습니다. 아직도 풀리지 않는 많은 미스터리가 존재하는 인간의 신체 중 하나이죠. 이런 뇌를 모방한 알고리즘을 개발하려는 시도가 있었습니다. 그리고 1980년대와 90년대 초반 굉장히 활발히 연구가 되었죠. 하지만 90년 대 후반에 들어서 그 열기가 점점 줄어들고 사람들의 관심이 줄어들게 됩니다. 그 이유는 나중에 설명드릴게요, 해결하지 못한 문제들이 존..

Non-linear hypotheses

Non-linear hypotheses 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 이 전에는 Linear hypothesis model로만 표현한 Linear regression과 Logistic Regression에 대해 알아보겠습니다. 이번 글에서는 Neural Networks(신경망 알고리즘)에 대해 들어가기 전 간단히 Non-linear hypotheses에 대해 알아보겠습니다. 입력 x1, x2에 대해 위 그래프와 같이 분포된 결과를 분류하기 위해서는 앞서 다룬 Linear Logistic regression의..

Solving the problem of overfitting

Solving the problem of overfitting 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 앞에서 Linear regression과 Logistic regression에 대해 정리해보았습니다. 이번 글에서는 Machine Learning에서 중요한 문제인 Overfitting(과적합)에 대해서 알아보고 어떻게 해결할 수 있는지에 대해 정리하고자 합니다. What is overfitting?우리나라 말로 과적합이란 용어로 사용되는 Overfitting이 뭔지에 대해 알아보겠습니다. 아래 그림은 Linear ..

Logistic Regression - Multi class classification

Logistic Regression - Multi class classification - 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 지금까지 2개의 class를 분류하는 과정을 살펴보았습니다. 그럼 이번 글에서는 2개 이상의 Multi class classification하는 방법에 대해서 알아보도록 하겠습니다. 아래 예시를 보죠, Email을 그 전에는 Spam이냐 아니냐 2가지로 분류를 했다면 이번엔 Work, Fiends, Family 등 여러가지 class로 분류합니다. 또 다른 예시로 날씨가 있겟죠, 맑음, ..

Logistic Regression - Cost function / Gradient descent

Logistic Regression - Cost function / Gradient Descent- 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. Cost functionCost function 은 theta를 선택하기 위해 Hypothesis를 평가하는 방법입니다. Linear regression에서는 Cost function J를 graph로 표현했을 때 Convex 형태의 graph가 그렸졌었음을 기억하시나요? Linear Regression에서 사용했던 Squared error function을 그대로 Logisti..

Logistic Regression - Model representation / Decision boundary

Logistic Regression - Model Representation / Decision boundary - 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 이번 글에서는 Logistic Regression에 대해 확인해보겠습니다.지난 시간 Linear Regression은 continuous한 values에 대해 학습하고, 입력에 대해 예측되는 출력을 제공하기 위한 내용이였습니다. 이번 시간에는 continuous가 아닌 discrete하게 classification(이하 분류)를 위한 Logistic Regress..