[Data Science] 손실 함수 (Loss Function)

손실 함수 (Loss Function)

 

선형 회귀는 잔차의 제곱합 (SSE, Error sum of Squares)를 최소화하는 방법으로 회귀 계수를 추정한다. 즉, SSE가 작으면 작을 수록 좋은 모델이라고 볼 수 있다. 흔히, 사용하는 MSE (Mean Squared Error)는 SSE를 표준화한 개념이다.

 

 

MSE (Mean Squared Error)

 

f(x)가 제대로 추정되었는지 평가하기 위해, 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요하다.

 

 

MSE는 실제 종속 변수와 예측한 종속 변수 간의 차이이다. MSE가 작을 수록 좋지만, MSE를 과도하게 줄이면 과적합의 오류를 범할 가능성이 있다. 따라서, 학습 집합이 아닌 검증 집합의 MSE를 줄이는 방향으로 f(x)를 추정한다.

 

MAPE (Mean absolute percentage error)

 

f(x)가 제대로 추정되었는지 평가하기 위해, 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요하다.

 

 

MAPE는 퍼센트 값을 가지며 0에 가까울수록 회귀 모형의 성능이 좋다고 해석 가능하다. 0 ~ 100% 사이의 값을 가져서 이해하기 쉬우므로 성능 비교 해석이 편리하다.