6강 / 20강

상호정보량 — 함께 움직임을 재는 자

직선이 아니어도 잡아낸다

DIGGIT 의 이름에 Information Theory(정보이론) 가 들어 있는 이유가 여기 있습니다. ARACNe 도, MINDy 도, DIGGIT 도 두 값이 함께 움직이는 정도를 잴 때 상관계수가 아니라 상호정보량(mutual information, MI) 을 씁니다.

상관계수는 직선 관계만 봅니다. 두 값이 U자로 관계되어 있으면 상관은 0 이 나옵니다 — 분명히 관계가 있는데도요.

MI(X; Y) = Y 를 몰랐을 때의 불확실성 − X 를 알고 난 뒤 남은 불확실성

"X 를 알면 Y 에 대한 궁금증이 얼마나 줄어드나"입니다. 줄어드는 게 없으면 0, 완전히 결정되면 최대. 관계의 모양은 묻지 않습니다.

고등학생함께 움직임을 재는 자

상호정보량(MI)은 두 변수가 얼마나 관련 있나를 잰다.

MI = H(B) − H(B|A)

	상관계수	MI
잡는 관계	직선만	어떤 모양이든
0 이면	직선 관계 없음	완전 독립
방향	있음 (±)	없음

직선이 아니어도 잡아낸다 — 그것이 MI 를 쓰는 이유다

U자 관계에서 상관계수는 0 이 나옵니다. MI 는 그렇지 않습니다.

Python 브라우저에서 실행

# 상호정보량을 처음부터 계산해 봅니다
import math

def MI(쌍, 칸=4):
    """(x, y) 쌍들을 칸×칸 격자로 나눠 상호정보량을 계산 (단위: 비트)"""
    xs = [a for a, _ in 쌍]; ys = [b for _, b in 쌍]
    def 통(v, lo, hi):
        if hi == lo: return 0
        return min(칸 - 1, int((v - lo) / (hi - lo) * 칸))
    xlo, xhi = min(xs), max(xs); ylo, yhi = min(ys), max(ys)
    n = len(쌍)
    pxy = {}; px = {}; py = {}
    for a, b in 쌍:
        i, j = 통(a, xlo, xhi), 통(b, ylo, yhi)
        pxy[(i, j)] = pxy.get((i, j), 0) + 1/n
        px[i] = px.get(i, 0) + 1/n
        py[j] = py.get(j, 0) + 1/n
    return sum(p * math.log2(p / (px[i]*py[j])) for (i, j), p in pxy.items())

# ① 직선 관계
직선 = [(x/10, x/10) for x in range(-20, 21)]
# ② U자 관계 — 상관은 0 이지만 관계는 뚜렷하다
U자  = [(x/10, (x/10)**2) for x in range(-20, 21)]
# ③ 아무 관계 없음
무관 = [(x/10, ((x*7) % 13)/10) for x in range(-20, 21)]

for 이름, 자료 in [("직선", 직선), ("U자", U자), ("무관", 무관)]:
    print(f"{이름:<5} MI = {MI(자료):.2f} 비트")

고등학생왜 비선형이 중요한가

생물학적 관계	모양
포화	어느 수준 이상은 안 늘어남
문턱	계단
이중 역할	산 모양

세 번째가 상관계수를 무력화한다

적당하면 켜고 많으면 끄는 관계면 산점도가 뒤집힌 U 가 된다.

상관계수는 0 이 나온다 — 완벽한 관계인데.

MI 는 잡는다

"A 를 알면 B 를 더 잘 안다" 는 모양과 무관하다.

모양을 가정하지 않는 도구가 모양을 모를 때 유용하다

🎮 격자를 바꿔 보세요

자료의 모양과 격자 칸 수를 바꿔 가며 MI 가 어떻게 달라지는지 보세요. 칸을 너무 잘게 쪼개면 없는 관계도 있어 보인다는 함정도 확인해 보시고요.

고등학생MI 의 약점 — 표본이 적으면 부풀려진다

MI 는 분포를 추정해야 계산된다. 표본이 적으면 추정이 부정확하다.

표본 수	MI 추정
적음	실제보다 큼
많음	정확해짐

왜 크게 나오나

표본이 적으면 우연한 뭉침 이 생긴다. 그것이 관계처럼 보인다.

그래서 13강의 귀무분포가 필요하다

편향을 없애는 대신 편향이 포함된 기준선 과 비교한다.

섞어서 계산하면 같은 편향 이 들어가니 차이만 남는다.

편향을 제거하기 어려우면 편향이 같이 들어간 기준선과 비교하면 된다

고등학생DIGGIT 에서 MI 를 어디에 쓰나

쓰임	내용	강
조절망 만들기	ARACNe 안에서	7강
변이-활성 연관	aQTL	11강
조건부 분석	MINDy	15강

세 번째가 특히 흥미롭다

조건부 상호정보량 을 쓴다 — "C 가 있을 때와 없을 때 A–B 관계가 다른가."

그러면 C 가 A–B 관계를 조종한다 고 볼 수 있다.

조건을 나눠 관계를 비교하면 세 번째 변수의 역할이 드러난다

🤔 확인 문제

상관계수 대신 상호정보량을 쓰면 무엇이 달라지나요?

MI 의 함정 — 표본이 적으면 부풀려진다

MI 에는 고약한 성질이 있습니다. 표본이 적을수록 값이 커집니다. 극단적으로 환자가 4명이고 격자를 4칸으로 쪼개면, 아무 관계가 없어도 각 칸에 점이 하나씩 떨어져 "완벽한 관계"처럼 보입니다.

그래서 MI 는 절대 그 값만 보고 판정하지 않습니다. 자료를 마구 섞어서 만든 귀무분포와 비교합니다. 13강의 순열검정이 그 이야기입니다.

이 표를 한 번 보고 나면 MI 값을 절대값으로 해석하지 않게 됩니다.

Python 브라우저에서 실행

# 아무 관계가 없는 자료에서도 MI 가 0 이 아니라는 것을 확인합니다
import math, random

def MI(쌍, 칸=4):
    xs = [a for a, _ in 쌍]; ys = [b for _, b in 쌍]
    def 통(v, lo, hi):
        return 0 if hi == lo else min(칸-1, int((v-lo)/(hi-lo)*칸))
    xlo, xhi, ylo, yhi = min(xs), max(xs), min(ys), max(ys)
    n = len(쌍); pxy = {}; px = {}; py = {}
    for a, b in 쌍:
        i, j = 통(a, xlo, xhi), 통(b, ylo, yhi)
        pxy[(i,j)] = pxy.get((i,j), 0) + 1/n
        px[i] = px.get(i, 0) + 1/n; py[j] = py.get(j, 0) + 1/n
    return sum(p*math.log2(p/(px[i]*py[j])) for (i,j), p in pxy.items())

random.seed(7)
print(f"{'환자수':>5}{'무관한 자료의 평균 MI':>24}")
for n in [6, 10, 20, 50, 200]:
    값 = []
    for _ in range(200):
        쌍 = [(random.random(), random.random()) for _ in range(n)]
        값.append(MI(쌍))
    print(f"{n:>5}{sum(값)/len(값):>24.3f} 비트")
print()
print("관계가 전혀 없는데도 0 이 아닙니다. 표본이 적을수록 크고요.")
print("→ MI 값 자체가 아니라 '이 표본 수에서 우연히 나올 만한 값보다 큰가' 를 물어야 합니다.")

🤔 확인 문제

환자 6명의 자료에서 상호정보량이 0.9 비트로 계산되었습니다. 바로 '강한 관계' 라고 결론지을 수 없는 이유는?

🤔 확인 문제

상호정보량의 값이 0 이라는 것은 무엇을 뜻하나요?