AI/Machine Learning

Neural Networks - Cost function / Back propagation

Neural Networks: Cost function & Back Propagation 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 지난 글까지 Neural Networks의 Model과 간단한 예제들을 확인해 보았습니다. 이번 글에서는 Neural networks의 Cost function과 오차를 줄이기 위한 방법인 BackPropagation에 대해 알아보겠습니다. Cost functionCost function은 앞서 Linear regression과 Logistic regression에서 그 개념을 살펴보았습니..

Neural Networks - Model representation example

Neural Networks: Model Representation Example 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 앞서 배웠던 Neural Network의 Model의 예시를 몇 가지 살펴보겠습니다. ANDAND 연산을 Neural Network로 표현할 수 있는지 확인해보겠습니다. bias가 1이고 입력이 x1, x2인 위와 같은 Neural network가 있다고 할 때, 어떻게 해야 AND 연산을 수행할 수 있는 model을 구할 수 있을까요? AND 연산이니 입력은 x1, x2는 각각 1또는 0만 입력..

Neural Networks - Model representation

Neural Networks: Model Representation 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 예로부터 사람의 뇌는 굉장히 신비하고 무한한 탐구의 영역이였습니다. 아직도 풀리지 않는 많은 미스터리가 존재하는 인간의 신체 중 하나이죠. 이런 뇌를 모방한 알고리즘을 개발하려는 시도가 있었습니다. 그리고 1980년대와 90년대 초반 굉장히 활발히 연구가 되었죠. 하지만 90년 대 후반에 들어서 그 열기가 점점 줄어들고 사람들의 관심이 줄어들게 됩니다. 그 이유는 나중에 설명드릴게요, 해결하지 못한 문제들이 존..

Non-linear hypotheses

Non-linear hypotheses 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 이 전에는 Linear hypothesis model로만 표현한 Linear regression과 Logistic Regression에 대해 알아보겠습니다. 이번 글에서는 Neural Networks(신경망 알고리즘)에 대해 들어가기 전 간단히 Non-linear hypotheses에 대해 알아보겠습니다. 입력 x1, x2에 대해 위 그래프와 같이 분포된 결과를 분류하기 위해서는 앞서 다룬 Linear Logistic regression의..

Solving the problem of overfitting

Solving the problem of overfitting 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 앞에서 Linear regression과 Logistic regression에 대해 정리해보았습니다. 이번 글에서는 Machine Learning에서 중요한 문제인 Overfitting(과적합)에 대해서 알아보고 어떻게 해결할 수 있는지에 대해 정리하고자 합니다. What is overfitting?우리나라 말로 과적합이란 용어로 사용되는 Overfitting이 뭔지에 대해 알아보겠습니다. 아래 그림은 Linear ..

Logistic Regression - Multi class classification

Logistic Regression - Multi class classification - 아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다. 개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다. 지금까지 2개의 class를 분류하는 과정을 살펴보았습니다. 그럼 이번 글에서는 2개 이상의 Multi class classification하는 방법에 대해서 알아보도록 하겠습니다. 아래 예시를 보죠, Email을 그 전에는 Spam이냐 아니냐 2가지로 분류를 했다면 이번엔 Work, Fiends, Family 등 여러가지 class로 분류합니다. 또 다른 예시로 날씨가 있겟죠, 맑음, ..