국소회귀(Locally Weighted Regression)

국소 회귀(Locally Weighted Regression)란?

아래 글을 먼저 보는 것이 좋습니다. 선형 회귀(Linear Regression)와 경사하강법(Gradient Descent) 선형 회귀(Linear Regression)는 머신러닝의 가장 기본이 되는 알고리즘이다. 머신러닝은 기본적으로 훈련 데이터를 이용해 알고리즘을 학습시키고, 그 결과로 어떤 가설을 도출하는 것이다. 이 가설 nanunzoey.tistory.com 아래와 같은 데이터가 있다고 할 때, 선형 회귀 `\theta_0 + \theta_1x_1` 식은 파란 선으로 나타낼 수 있다. 그런데 이 선은 과연 데이터들을 올바르게 표현하고 있는 걸까? 직선이 아닌 다른 형태가 사실은 더 적합할 수도 있지 않을까? 혹은 feature가 여러 개인 다항 회귀의 경우는 어떨까? 예를 들면 `\theta_..