[한 줄 정리] 분류 모델 평가 지표

 

https://manisha-sirsat.blogspot.com/2019/04/confusion-matrix.html

혼동 행렬 Confusion Matrix
- 실제 및 모델이 예측한 데이터의 분류를 나타냅니다.
- 예를 들어 이메일의 스팸 여부를 분류하는 문제가 있을 때, TP(True Positive)는 실제 스팸인 이메일을 분류기가 스팸이라고 제대로 분류한 경우입니다.
- 반대로 FP(False Positive)는 실제 스팸이 아닌 이메일을 분류기가 스팸이라고 잘못 분류한 경우입니다.

https://manisha-sirsat.blogspot.com/2019/04/confusion-matrix.html

정밀도 Precision
- 분류기가 양성 샘플이라고 분류한 것 중에서 실제 양성 샘플의 비율, 즉 분류기가 스팸으로 분류한 것 중 실제 스팸인 비율입니다.
$$Precision = \frac{45}{45+5} = 0.9$$

재현율 Recall / 민감도 Sensitivity
- True positive rate, 실제 양성인 샘플 중 분류기가 정확히 분류해 낸 양성 샘플의 비율, 즉 실제 스팸인 이메일 중 분류기가 스팸으로 잘 분류한 비율입니다.
$$Recall = \frac{45}{45+20} = 0.69$$

정확도 Accuracy
- 전체 샘플 중 맞게 분류한 샘플의 비율, 즉 실제 스팸은 스팸으로, 아닌 것은 아니라고 잘 분류한 비율입니다.
$$Accuracy = \frac{45+30}{45+20+5+30} = 0.75$$

F1 score
- precision과 recall의 조화 평균입니다. 불균형한 데이터에서 accuracy보다 더 정확한 성능 지표입니다.
$$F1 score = 2\times \frac{Precision \times Recall}{Precision+Recall}$$

Fall-out
- False positive rate, 즉 실제 음성인 샘플 중 양성으로 잘못 분류한 비율, 스팸이 아닌 이메일을 스팸이라고 분류한 비율입니다.
$$Fallout = \frac{FP}{FP+TN} = \frac{5}{5+30} = 0.14$$

ROC(Receiver Operator Characteristic) curve
- Fall-out과 recall의 관계를 그린 곡선입니다. 커브가 왼쪽 위 모서리에 가까울수록 분류기 성능이 좋다고 판단합니다.

https://glassboxmedicine.com/2019/02/23/measuring-performance-auc-auroc/

AUC(Area Under Curve)
- ROC curve 아래 면적을 나타냅니다.
- 최대값은 1이며, fall-out에 비해 recall이 클수록 1에 가깝습니다.

 

 

아래 자료를 참고했습니다.

• 데이터 사이언스 스쿨
• 책 『데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집』
• 분류 성능 평가 지표