Model Assessment and Selection

- train data와 독립인 test data에 근거하여 모델의 performance를 평가해야 한다.

- covariate : Y라는 반응변수를 설명해주는 변수

- loss function 중 squared error와 absolute error는 서로 장단점이 있다.

 

 

- blue : train data / red : test data

- x축의 오른쪽으로 갈수록 model complexity가 높다(변수가 많은 경우) -> variance는 커지고, bias는 작아진다.

 

- Err_T : test set이 conditional 하게 주어져 있고, loss function의 기댓값을 취한 것

- Err : 모든 테스트셋에 대해서 기댓값을 취한 것에 다시 기댓값을 취한것. 즉, E(X) = E(E(X|Y)) 

- training error : train sample에 대한 average loss

 

- Training set : 모형을 적합시키는데 사용

- Validation set : 선택된 모형에 대해서 prediction error를 측정

- Test set : validation set을 통해 가장 optimal 하다고 선택된 모형에 대해 generalization error 측정