[기계학습] 의사결정나무 | Decision Tree

🔎 의사결정나무

    - 학습 데이터를 분석하여 데이터에 내재되어 있는 패턴을 통해 새로운 데이터를 예측 및 분류하는 모델

    - 분리 기준과 정지 규칙을 지정해서 의사결정나무를 생성

 

장점

1️⃣ 이해하기 쉽고 적용하기 쉽다

2️⃣ 의사결정과정에 대한 설명 가능 

      ✔️ 의료부분이나  금융부분에서 이유를 알려줄 수 있어 응용이 가능함

3️⃣ 중요한 변수 선택에 유용 

      ✔️ 상단에 사용된 변수가 중요한 변수 ( 위의 사진으로는 날씨 )

4️⃣ 데이터의 통계적 가정이 필요 없음 

      ✔️ ex ) LDA : 데이터 정규성이라는 가정이 필요했음

 

---

단점

1️⃣ 많은 데이터 필요

2️⃣ 트리를 만드는데 상대적으로 시간이 많이 소요

3️⃣ 데이터 변화에 민감 

     ✔️ 학습 데이터 ↔️ 테스트 데이터의 도메인(영역)이 유사해야함

4️⃣ 선형 구조인 데이터를 예측할 때 복잡

     ✔️ 이 경우 의사결정나무가 아닌 다른 모델을 사용하는 것이 더 좋음

4번 예시 

---

📌 의사 결정 트리 만드는 방법

데이터를 분리 기준에 따라 2개 or 그 이상으로 분할 

🔻

데이터 순도가 균일해지도록 재귀적 분할

---

분류(Classification) vs 예측(Regression)

🔸 분류

 

✔️ 분할 종료 조건 : 끝 노드에 비슷한 범주(클래스)를 갖고 있는 관측 데이터 끼리

✔️ 판별 : 끝 노드에서 가장 빈도가 높은 종속변수(y)를 새로운 데이터의 결과로 부여

분류

📌 경향성도 확률로 표현 가능 

 

🔸 예측

 

✔️ 분할 종료 조건: 끝 노드에 비슷한 수치를 갖고 있는 관측데이터 끼리

✔️ 판별 : 끝 노드의 종속변수(y)의 평균을 새로운 데이터의 결과로 부여

 

📌  예측의 경우 회귀 나무보다 신경망 (neural network) or 회귀 분석이 더 좋음

---

📌 과적합

    - 학습용 데이터에 완전히 적합하게 만들어져 테스트 데이터에서 오차가 일반적으로 증가

 🔎 피하는 방법

📌 가치치기 

    - 데이터를 버리는 개념이 아닌 합치는 개념
    - 나무 모델 생성 후 필요 없는 가지 제거
    - 성장 멈추기 보다 우수한 성능 
    - 가지치기 비용함수를 최소로 하는 분기를 찾음 

📌 성장멈추기

- 나무 모델의 max depth를 설정
- 나무 모델을 성장시키면서 특정 조건에 성장을 중단

---

[ 분류 나무 / 데이터 : 와인 분류 ]

 

1️⃣ 데이터 불러오기 

### 와인

from sklearn import datasets
wine=datasets.load_wine()

n_samples = len(wine.data)
data = wine.data.reshape((n_samples, -1))

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, wine.target, test_size=0.3, shuffle=True)

2️⃣ 모델 만들기

 

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier(criterion='gini', random_state=1)
dtc.fit(X_train, y_train)

[ DecisionTreeClassifier 매뉴얼 ] 

 

 

3️⃣ 성능 측정

 

---

[ 예측 나무 / 데이터 : 보스턴 집값 예측 ]

 

1️⃣ 데이터 불러오기

### Boston Housing

from sklearn import datasets
price=datasets.load_boston()

n_samples = len(price.data)
data = price.data.reshape((n_samples, -1))

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, price.target, test_size=0.3, shuffle=True)

2️⃣ 모델 만들기

from sklearn.tree import DecisionTreeRegressor

regressor = DecisionTreeRegressor(random_state=1)
regressor.fit(X_train, y_train)

[ DecisionTreeRegressior 매뉴얼 ]

 

3️⃣ 성능 측정