5강 / 20강

상호정보량 — 알고 나면 얼마나 줄어드나

아라크네가 두 유전자 사이를 재는 자

4강에서 엔트로피를 "맞히는 데 드는 질문 수"로 익혔습니다. 이제 질문 하나만 더 하면 됩니다.

Y 를 미리 알고 있으면, X 를 맞히는 질문이 몇 번 줄어드나?

그 줄어든 질문 수가 상호정보량입니다.

MI(X ; Y) = H(X) − H(X | Y)

Y 를 알아도 하나도 안 줄어든다 → MI = 0 → 두 유전자는 서로 무관
Y 만 알면 X 를 바로 안다 → H(X|Y) = 0 → MI = H(X) → 완전히 묶여 있다

세 가지 성질이 따라 나오는데, 아라크네를 이해하는 데 전부 필요합니다.

성질	뜻	어디서 쓰나
MI ≥ 0	알고 나서 모름이 늘어나는 일은 없다	9강 — 그래서 문턱은 양수 한쪽만
MI = 0 ⟺ 독립	0 은 정말로 '아무 관계 없음'	3강 — r 의 0 과 다른 점
MI(X;Y) = MI(Y;X)	대칭이다 — 방향이 없다	10강 — 그래서 아라크네의 그물은 무향 그래프

고등학생알고 나면 얼마나 줄어드나

상호정보량은 "A 를 알면 B 에 대한 모름이 얼마나 주는가" 다.

MI(A;B) = H(B) − H(B|A)

항	뜻
H(B)	B 에 대한 모름
H(B\|A)	A 를 알고 난 뒤의 모름
차이	A 가 준 정보

정보란 모름이 줄어든 양이다 — 그것이 정보이론의 정의다

칸을 나눠 실제로 세어 보기

연속된 발현량이니 4강처럼 칸으로 나눕니다. 이번엔 두 유전자를 동시에 — X 를 7칸, Y 를 7칸으로 나누면 격자가 7 × 7 = 49칸 생깁니다. 200명을 그 49칸에 떨어뜨리고 칸마다 몇 명인지 세면 결합분포 p(x,y) 입니다.

대각선에 몰린다 = 한쪽을 알면 다른 쪽 칸을 좁힐 수 있다 = 정보가 있다.

Python 브라우저에서 실행

# 결합분포를 눈으로 봅니다 — 200명이 49칸에 어떻게 떨어지는가.
import numpy as np
from arac import load_expr, rank_transform

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X)                        # 0~1 로 고르게 편 값 (7강)
ix = {n: i for i, n in enumerate(genes)}

def joint(u, v, bins=7):
    iu = np.clip((u * bins).astype(int), 0, bins - 1)
    iv = np.clip((v * bins).astype(int), 0, bins - 1)
    J = np.zeros((bins, bins))
    np.add.at(J, (iu, iv), 1.0)
    return J

for a, b in [("DDX54", "MYC"), ("GAPDH", "ACTB")]:
    J = joint(U[ix[a]], U[ix[b]])
    print(f"── {a} (행) × {b} (열) ──")
    for r_ in J.astype(int):
        print("   " + " ".join(f"{v:3d}" for v in r_))
    print()

print("이어진 쌍은 대각선에 몰리고, 무관한 쌍은 골고루 흩어집니다.")

arac 꾸러미의 mi_bins 도 정확히 이 여섯 줄입니다. 남이 만든 것을 쓰기 전에 한 번은 직접 짜 봅시다.

Python 브라우저에서 실행

# 상호정보량을 직접 짜 봅니다. 여섯 줄입니다.
import numpy as np
from arac import load_expr, rank_transform, mi_bins

def my_mi(u, v, bins=7):
    n = len(u)
    iu = np.clip((np.asarray(u) * bins).astype(int), 0, bins - 1)
    iv = np.clip((np.asarray(v) * bins).astype(int), 0, bins - 1)
    J = np.zeros((bins, bins))
    np.add.at(J, (iu, iv), 1.0)
    J /= n                                    # p(x,y)
    px = J.sum(axis=1, keepdims=True)         # p(x) — 행을 모두 더한다
    py_ = J.sum(axis=0, keepdims=True)        # p(y) — 열을 모두 더한다
    nz = J > 0                                # 빈 칸은 건너뛴다
    return float((J[nz] * np.log2(J[nz] / (px @ py_)[nz])).sum())

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}

for a, b in [("DDX54", "MYC"), ("NFKB1", "IL10"), ("GAPDH", "ACTB")]:
    mine = my_mi(U[ix[a]], U[ix[b]])
    lib  = mi_bins(U[ix[a]], U[ix[b]], 7)
    print(f"{a:7s}–{b:8s} 내가 짠 것 {mine:.4f}   꾸러미 {lib:.4f}   같은가 {abs(mine-lib) < 1e-9}")

🎮 결합분포를 손으로 옮겨 보기

3 × 3 격자에 확률을 직접 배치해 보세요. 대각선에 몰면 MI 가 커지고, 고르게 펴면 0 이 됩니다. 테두리 분포(p(x), p(y))는 그대로 두고 안쪽만 바꿔 보는 것이 요령입니다.

고등학생MI 를 어떻게 계산하나

단계	하는 일
1	두 유전자 값을 각각 칸으로 나눔 (6강)
2	칸 조합마다 샘플 수를 셈
3	확률로 바꿈
4	공식에 넣음

2단계가 문제다

7칸 × 7칸 = 49칸 이다. 샘플이 100개면 칸당 평균 2개 다.

그러면 확률 추정이 아주 부정확하다.

그래서 MI 에 편향이 생긴다

표본이 적으면 MI 가 실제보다 크게 나온다. 우연한 뭉침이 관계처럼 보이기 때문이다.

9강에서 이 편향을 없애는 대신 편향까지 포함한 문턱 을 세워서 해결한다.

편향을 없애기 어려우면 편향이 포함된 기준선과 비교하면 된다

무관한데도 0 이 아니라 0.17 쯤 나옵니다. 이 '0 이 아닌 0' 이 6강과 9강의 주제입니다.

Python 브라우저에서 실행

# MI 가 정말 0 이 되는지 확인 — 완전히 무관한 두 벡터를 만들어 재 봅니다.
import numpy as np
from arac import mi_bins

rng = np.random.default_rng(0)
n = 200

# 서로 아무 상관 없는 두 벡터 (이미 0~1 로 고르게 편 상태)
u = rng.random(n)
v = rng.random(n)
print("무관한 두 벡터의 MI :", round(mi_bins(u, v, 7), 4), "비트")

# 완전히 같은 벡터 — 하나를 알면 다른 하나를 바로 안다
print("똑같은 두 벡터의 MI :", round(mi_bins(u, u, 7), 4), "비트")
print("(참고) log2(7) =", round(float(np.log2(7)), 4))

고등학생MI 가 0 이라는 것의 뜻

MI = 0 ⟺ 두 변수가 독립

이것이 상관계수와의 결정적 차이다

	0 이면
상관계수	직선 관계 없음 (다른 관계는 있을 수 있음)
상호정보량	완전히 독립

그래서 MI 가 강력하다

"MI 가 0 이 아니다" 는 어떤 형태로든 관계가 있다 를 뜻한다.

그런데 실제로는 정확히 0 이 안 나온다

표본이 유한하니 추정값은 늘 양수 다. 그래서 얼마나 커야 의미 있나 를 정해야 한다.

그것이 9강의 문턱 문제다.

이론적으로 깔끔한 성질도 유한 표본에서는 문턱을 요구한다

🤔 확인 문제

MI(X;Y) = 0 이 뜻하는 것은?

🤔 확인 문제

MI 가 대칭(MI(X;Y) = MI(Y;X))이라는 사실에서 따라오는 결과는?

🤔 확인 문제

서로 아무 관계 없는 두 벡터의 MI 를 200개 샘플·7칸으로 쟀더니 0.09 가 나왔습니다. 이것은?