variance 와 bias 관계 간단 정리

Variance 와 Bias는 Trade-off 관계

Variance = 분산: 예측값이 변동되는 정도 = 예측값들이 얼마나 서로 떨어져있는가

Bias = 편향: 실제 문제를 단순한 모델로 추측하여 오차가 발생하는것 = 실제값에서 얼마나 멀어졌는가

모델이 복잡해질수록 분산은 높아지고 편향은 낮아진다. => 오버피팅됨 => 해결법: regularization, k-fold, early stop learning , dropout

모델이 덜복잡할수록 분산은 낮아지고 편향은 높아진다. => 언더 피팅됨 => 해결법: feature 를 더 많이 반영하거나 복잡한 모델사용

분산과 편향을 동시에 최대한 낮추는 지점을 학습법으로 정해야함