Non-linear hypotheses

Non-linear hypotheses

아래 내용은 Andrew Ng 교수님의 강의와 자료를 기반으로 학습한 내용을 정리하여 작성하였습니다.

개인의 학습 내용이기에 잘못 해석 및 이해하고 있는 부분도 있을 수 있으니, 다양한 자료를 기반으로 참고하시는 걸 추천드립니다.

이 전에는 Linear hypothesis model로만 표현한 Linear regression과 Logistic Regression에 대해 알아보겠습니다. 이번 글에서는 Neural Networks(신경망 알고리즘)에 대해 들어가기 전 간단히 Non-linear hypotheses에 대해 알아보겠습니다.

입력 x1, x2에 대해 위 그래프와 같이 분포된 결과를 분류하기 위해서는 앞서 다룬 Linear Logistic regression의 hypothesis model로는 분류가 불가능 합니다. 그래서 Non-linear 한 hypothesis model이 필요하게 되죠, 선형 방정식이 아닌 고차 방정식을 이용해서 분류를 하게 되는데 문제는 변수가 매우 많다고 할 때, 고차방정식을 모든 변수의 조합으로 만들어 낸다면 경우의 수가 폭발적으로 증가하게 된다는 것입니다. 물론 연산도 그만큼 커지겠죠.

우리가 보는 자동차라는 이미지를 기계는 바로 알 수 없습니다. 우리의 눈처럼 카메라 등 다양한 방식으로 입력을 받게 됩니다. 실제 자동차 이미지를 학습시킨다고 할 때 하나의 Pixel을 하나의 입력으로 볼 수도 있습니다. 그럼 전체 자동차 중 매우 일부분의 이미지만으로도 위와 같이 컴퓨터는 무수히 많은 입력으로 다루게 되는 것이죠. 그럼 자동차 전체에 대한 이미지를 각 픽셀마다 입력으로 하면 도대체 얼마나 무수히 많은 feature가 존재하는 걸까요? 무수히 많은 feature에 대해 학습하기 위해서는 Linear hypothesis model 로는 불가능합니다. Non-linear hypothesis model이 필요한 이유죠.

자동차 이미지 중 2개의 Pixel을 학습시켜서 분류한다고 합니다. 그럼 Pixel1, Pixel2를 이용해 저런 그래프가 표현되고 분류를 할 수 있겠죠, 하지만 저 2개의 Pixel만으로 충분히 자동차를 구별할 수 있나요? 불가능하다는 것을 아실거에요. 

50x50 사이즈의 이미지라면 총 2500개의 Pixel이 존재하고 각 Pixel은 하나의 feature가 될 것 입니다. 그리고 만약 RGB를 이용한다면 7500개의 feature가 생기죠. 2개의 feature만으로도 Linear로는 분류가 불가능하니, 당연히 더 많은 feature는 Non-Linear하게 분류할 수 있도록 해야겠죠? 지금까지 다룬 내용으로는 답이 없어 보입니다. 

그럼 무수히 많은 feature에 대해서는 어떻게 해결해야 할까요? 그런 문제에 좋은 Model들이 당연히 존재하겠죠? 다음 글에서는 그 Model을 다뤄보겠습니다. 감사합니다.