[기계학습] Bias - Variance Decomposition

 

중앙에 가까우면 bias가 작은것이고 퍼져있지 예측값들이 퍼져있지 않으면 variance가 작은 것 마지막 과녁이 가장 이상적

🔎 Bias [편향]

 

- 학습 알고리즘에서 잘못된 가정을 했을 때 발생하는 오차 

- 모델의 치우침 정도

- 높은 bias는 underfitting 문제 발생

 

🔎 variance [분산]

 

- 예측값이 평균과 얼마나 차이가 나는가 

- 높은 variance는 큰 노이즈까지 모델링에 포함시키는 overfitting 문제 발생

 

일반적으로 bias ⬆️ 이면 variance ⬇️ 가 아니면  bias ⬇️  일때 variance ⬆️

---

📢 정규화란

- variance를 감소시켜서 일반화 성능 ⬆️

- 회귀계수가 가질수 있는 값에 제약조건을 부여하여 미래데이터에 대한 오차를 해결할 수 있을거라고 하는 것

 

✔️ 왼쪽은 미래의 데이터가 조금만 바뀌어도 예측값이 들쭉 날쭉  

✔️오른쪽은 미래데이터 변화에 상대적으로 안정적인 결과  - 강한 수준의 정규화 수행한 것

---

 

📢 Bias-Variance Decomposition

- 일반화[generalization] 성능을 높이는 정규화[Regularization], 앙상블[ensemble] 기법의 이론적 배경

- 학습에 쓰지않은 미래데이터에 대한 오차의 기대값을 모델의 Bias와 Variance로 분해하자는 내용

 

 

---

🔎 Bias 🔻 ➕ variance 🔺 

- 튜닝을 잘한다면 과녁을 제대로 맞출수 있는 모델

EX)  1️⃣NN[뉴럴 네트워크] 2️⃣ SVM 3️⃣ KNN (small K)

 

---

🔎 Bias 🔺 ➕ variance 🔻

- 데이터 노이즈에 강인한 모델

EX ) 1️⃣ 로지스틱 회귀 2️⃣ LDA 3️⃣ KNN (Large K)

 

---

➕ 

부스팅 [Boosting] - bias 🔻  ➡️ 성능을 ⬆️

라쏘회귀 [Lasso regression] - variance 🔻➡️ 성능을 ⬆️