표준화(Standardization)

과적합(Overfitting)과 규제(Regularization)

과적합(Overfitting)이란 모델이 train 데이터에 지나치게 적응되어 그 외의 데이터에는 제대로 대응하지 못하는 상태를 말한다. 이게 과연 무슨 말일까? 데이터를 잘 학습할수록 좋은 것 아닌가? 예를 들어 아래와 같은 회귀 문제가 있을 때, 우리가 원하는 모델은 두 번째에 가깝다. 첫 번째 모델은 과소적합(Underfitting)의 경우로, 주어진 데이터를 아직 제대로 반영하지 못하고 있고, 세 번째 모델은 주어진 데이터가 모든 경우에 나타나는 일반적인 경향이라고 오해한 경우이다. 즉 과적합(Overfitting)되어 새로운 데이터에 대해서는 적용할 수 없는, 일반화하기 어려운 경우이다. 세 그래프에 빨간 점(data)을 하나씩 더 찍어 보았다. 점선(모델이 예측한 결과)과의 거리가 가장 가까운..