[기계학습] KNN | K - 최근접 이웃 알고리즘

📍KNN 이란?

     - 주변 K개의 자료 클래스 중 가장 많은 클래스로 특정 자료를 분류하는 방식

    - 새로운 자료 🔺를 가까운 자료 5개의 자료 ( K = 5 ) 를 이용하여 가장 많은 클래스가 있는 것으로 할당

아래의 그림으로 치면 새로운 자료 🟢 이 속하는 클래스를 찾으려고 K를 5로하면 점선에 속해 🟦 클래스가 되고, K를 3으로 하면 실선에 속해 🔺클래스에 속하게 된다.

✔️ KNN 분류에서는 최근접 이웃사이에서 과반수 의결에 의해 분류

✔️ KNN 회귀에서는 K개의 최근접 이웃이 가진 값의 평균이다.

 

- 데이터 분포를 표현하기 위한 파라미터를 추정하지 않음

     ➡️ 선형회귀/분류 에서 Wx + b에서 [W,b]를 구하지만 KNN은 이러한 파라미터를 구하지 않음

 

- 게으른 학습 ( Lazy learner ) or 사례중심학습 (instance-based learning)이라고도 부름

‼️ 다른 모델들은 훈련데이터를 기반으로 1️⃣ 모델을 만들고 2️⃣ 테스트 데이터로 테스트하지만 KNN은 훈련이 없고 데이터를 저장하는 것이 훈련의 전부라서 모델을 구축하지 않는다는 뜻으로 게으른 학습이라고 한다

🚫 KNN은 데이터의 차원이 증가하면 할 수록 성능저하가 심함 

 - 데이터의 차원이 증가할 수록 해당 공간의 크기가 기하급수적으로 증가하여 동일한 개수의 데이터의 밀도가 차원이 증가할 수록 희박해짐 

코드에서 사용하는 i번째 관측치와 j번째 관측치의 거리는 Minkowski 거리를 사용한다.

Minkowski 거리 - 계산값이 0에 가까울수록 유사한 것 

‼️K가 작으면 테스트 데이터에만 잘맞게 되는 오버피팅(overfitting)이 발생하고 

     K가 크면 정확성이 떨어지게 되는 언더피팅(underfitting)이 발생한다

적당한 K를 찾아야함

🖍 KNN의 장점 

1️⃣ 학습데이터 내에 노이즈 영향을 크게 받지 않음

2️⃣ 학습데이터 수가 많다면 꽤 효과적인 알고리즘

3️⃣ 마할라노비스 거리 (mahalanobis distance : 평균과의 거리가 표준편차의 몇 배인지 나타내는 값  / 계산 값이 0에 가까울수록 유사한 것) 와 같이 데이터의 분산을 고려할 경우 매우 강건한 방법

 

🖍 KNN의 단점

1️⃣  최적 이웃의 수 (K) 와 어떤 거리 척도 (distance metric / ex ) 마할라노비스 , 민코스키 ) 가 적합한지 불분명해서 임의로 선정해야함

       🔍 best K도 데이터 마다 다르기 때문에 탐용적인 방식 (Grid Search)로 탐색

2️⃣ 새로운 관측치와 학습 데이터 사이의 거리를 전부 측정해야해서 계산 시간이 오래 걸림

 

---

✔️ KNN 회귀

1️⃣ 단순 회귀 - 가까운 이웃들의 단순 평균

2️⃣ 가중 회귀 (weighted regression)

      🔍 얼마나 가까이 있는지에 따라 가중편귱을 구해 거리가 가까울수록 데이터가 더 유사할 것이라고 보고 가중치를 부여하는 방식

from sklearn.neighbors import KNeighborsRegressor
knn = KNeighborsRegressor(n_neighbors = 3, p = 2)
knn.fit(x_train,y_train)

이런 식으로 사용하면 됨 

 

KNeighborsRegressor

✔️n_neighbors : int, default=5 ➡️ K 개수

✔️weights : ‘uniform’, ‘distance’ ,defalut = uniform ➡️ uniform은 단순 회귀 distance는 가중 회귀

✔️p : int, default = 2 ➡️ p는 거리 구하는 방법 / p = 1 : 맨해튼 거리 p = 2 : 유클리드 거리  

---

✔️ KNN 분류

from sklearn.neighbors import KNeighborsClassifier

---

test_pred = knn.predict(test)

예측은 predict를 사용해서 test데이터를 넣으면 사용할 수 있음