[기계학습] 다중선형회귀 & 경사하강법 | Multiple Linear Regression & Gradient Descent

📌 다중선형회귀(Multiple Linear Regression)

 - 수치형 설명변수 X + 연속형 숫자로 이루어진 종속변수 Y의 관계를 선형으로 가정하고 이를 가장 잘 표현할 수 있는 회귀계수(β)를 추정

 - 쉽게 말하면 X에 따라 Y값이 어떻게 달라질지 예측하는 것 

ex) 주택 임대료 예측할 때
X : 얼마나 오래 되었는지(X1) , 지하철역과의 거리(X2), 주변 편의시설의 개수(X3) ••• (Xn)
Y : 주택 임대료 가격 

(X1 * β1) + (X2 * β2) + (X3 * β3) ••• + ( Xn * βn ) = Y 

(β1, β2, β3•••, βn) : 회귀계수

📍 회귀 계수(β1, β2, β3•••, βn) 구하는 법

( 실제값(Y) - 예측값(Y') ) ^ 2 = Error = Loss 가 가장 작은 것

- 위의 error식의 미분값 = 0 으로 놓고 풀면 명시적인 해를 구할 수 있지만 0이 되지 않을 수도 있고 미분이 되지 않을 수도 있음 

 

 ⬇️ 그럴 때 

 

✔️ Numerical Search - 경사하강법 (gradient descent)을 사용

📌 경사하강법 

        - 에러값을 최소화하기위해 경사(그래디언트)를 구하고 경사의 반대방향으로 조금씩 이동하는 과정을 여러번 반복하는 것

🔍 경사하강법의 종류

    1️⃣ Batch Gradient Descent (GD) -  배치 경사 하강법

    - 파라미터 (회귀계수 : β1, β2, β3•••, βn ) 를 업데이트 할 때마다 모든 학습 데이터를 사용하여 cost function(error값)의 gradient(경사)값을 구함

    - 기본적인 방법이라 Vanilla Gradient Descent 라 불림

    단점 - 모든 데이터를 사용하기때문에 많은 시간이 필요 ➡️ 매우 낮은 학습 효율

 

     2️⃣ Stochastic Gradient Descent (SGD) - 확률적 경사 하강법

     - 파라미터 (회귀계수 : β1, β2, β3•••, βn ) 를 업데이트 할 때마다 무작위로 샘플링된 학습데이터를 하나 ( N개 중에 1 개 )씩만 이용하여 cost function(error값)의 gradient(경사)값을 구함

     장점 - 하나를 골라서 업데이트하기 때문에 모델을 자주 업데이트 할 수 있음 ➡️ 성능 개선 정도 빠르게 확인 가능

             - Local  minima에 빠질 가능성 

     단점 - 최소 cost에 수렴했는지 판단이 상대적으로 어려움

 

     3️⃣ Mini Batch Gradient Descent - 미니 배치 경사 하강법

-  파라미터 (회귀계수 : β1, β2, β3•••, βn ) 를 업데이트 할 때마다 하나의 샘플이 아닌 ' 미니 배치 '라 부르는 작은 샘플 세트을 사용하여 cost function(error값)의 gradient(경사)값을 구함 

- 1️⃣ GD의 전체 배치보다 효율성 🔺 ➕ 2️⃣ SGD 의 노이즈 🔻 =  3️⃣ Mini batch GD