[기계학습] 판별 분석 | Discriminant analysis

🔍 판별 분석이란 ?

- 두 개 이상의 모 집단(= 집단 전체)에서 추출된 표본(=관찰한 결과, 집단의 성질을 추축할 수 있는 통계자료)들이 지니고 있는 정보(= 분포)를 이용하여 이 표본들이 어느 모 집단에서 추출된 것인지를 결정해 줄 수 있는 기준을 찾는 분석법

ex) 은행에서 부동산 담보 대출을 행하고자 할 경우 채무자가 대출금을 갚을 것인가? 그렇지 않을 것인가? 를 알고 싶을 때,
과거에 대출금을 반환하지 않은 사람의 정보 유형(연령, 소득, 직업, 결혼 유무)을 참고하여 신청자의 정보 유형을 과거의 유형과 비교하여 파악하는 것 

📌 과거에 대출금을 반환하지 않은 사람 - 표본
📌 과거에 대출금을 반환하지 않은 사람의 정보 유형 - 판별 변수
📌 대출을 승인받은 그룹 A, 대출을 승인받지 못한 그룹 B - 모 집단

 

판별 분석의 기초 개념 

📌 판별 변수 ( Discriminant variable)

     - 어떤 집단에 속하는지 판별하기 위한 변수 독립 변수 중 판별력이 높은 변수를 뜻하고,

     변수를 고를 때 상관관계가 적은 독립 변수를 선택해야 효과적인 판별 함수를 만들 수 있다.

---

‼️ 위의 예시에서 찾기 

연령, 소득, 직업, 결혼 유뮤 = 독립변수 

이 중에서 소득💵과 직업💼은 상관관계가 많은 독립변수지만 

결혼유무👫와 소득💵은 상관관계가 적은 독립변수

 

➡️ 판별함수를 만든다면 소득💵과 직업💼중 하나를 판별변수로 선택하고 결혼유무👫를 또 다른 판별변수로 선택하면 효과적인 판별함수를 만들 수 있다.

---

📌 판별 함수( Discriminant function)

- 판별 분석이 이용되기 위해서는 각 개체는 여러 집단 중에서 어느 집단에 속해 있는지 알려져 있어야 하며 = Y값 ( 위의 예시 : 대출 가능 유무 ) 이 있어야한다. ( 지도학습 | supervised learning ) 

- 소속 집단이 이미 알려진 경우에 대해 변수들 ( X ) 을 측정하고 이들 변수들을 이용하여 각 집단을 가장 잘 구분해 낼 수 있는 판별식을 만들어 분별하는 과정

 

➡️ 판별 함수를 이용하여 각 개체들이 소속 집단에 얼마나 잘 판별되는가에 대한 판별력을 측정하고 새로운 대상을 어느 집단으로 분류할 것이냐를 예측하는게 주 목적 --> 판별력이 높은 함수를 찾는 것 

 

📌 판별 점수( Discriminant score)

- 어떤 대상이 어떤 집단에 속하는 지 판별하기 위해 그 대상의 판별 변수들의 값을 판별 함수에 대입하여 구한 값

 

📌 표본의 크기

‼️ 이 조건에 해당되지 않으면 판별 분석으로 데이터를 분석할 수 없음 

1. 전체 표본의 크기( N )는 통상적으로 독립변수의 개수( D )보다 3배 ( 최소 2배 ) 이상 되어야함  

 

학습데이터의 수 ( = 전체 표본의 크기 N ) > 3 * 독립변수 ( 결혼 유무, 직업, 소득 ) 

 

2. 종속 변수의 집단 각각 표본의 크기 중 최소크기가 독립 변수의 개수( D )보다 커야함 

 

🔴 A 클래스 - 15 /  🟡 B 클래스 - 20  / 🔵 C 클래스 - 3 중

최소 크기인 🔵 C 클래스 표본의 수 (3) 이 독립 변수의 개수( D ) 보다 커야함

 

🏷 판별 분석의 단계 🏷

 

1. 독립 변수 찾기 

🔻

2. 판별 함수( 선형함수 / 비선형함수 ) 도출하기

🔻

3. 분류의 정확도 분석하기

🔻

4. 새로운 케이스가 속하는 클래스 예측하기

 

판별 분석에는 선형 판별 분석 ( LDA ) 와 비선형 판별 분석 ( QDA ) 이 있는데, 이건 다음 글로 💡