[상호정보 상관계수] 상호정보를 이용한 변수끼리의 계산

상호정보 상관계수란

• 두 변수 간의 공통된 정보를 측정하는 지표
• 값이 클수록 두 변수 간의 상호 의존성이 크다는 것을 의미
• 변수 간의 정보 의존성을 바탕으로 비선형 관계를 탐지
• 서로의 정보에 대한 불확실성을 줄이는 정도를 바탕으로 계산
• 비선형적이고 복잡한 관계를 탐지하고자 할 때 사용
• 두 변수가 범주형 데이터일 때 적용 가능

파이썬 실습

import numpy as np
from sklearn.metrics import mutual_info_score

# 범주형 예제 데이터
X = np.array(['cat', 'dog', 'cat', 'cat', 'dog', 'dog', 'cat', 'dog', 'dog', 'cat'])
Y = np.array(['high', 'low', 'high', 'high', 'low', 'low', 'high', 'low', 'low', 'high'])

# 상호 정보량 계산
mi = mutual_info_score(X, Y)
print(f"Mutual Information (categorical): {mi}")

Mutual Information (categorical): 0.6931471805599456