Lesson 6 of 20

상호정보량 — 상관계수가 못 보는 관계를 본다

프로토콜 Phase I-1 · ARACNE 의 심장

두 유전자가 관계가 있다는 것을 어떻게 잽니까?

가장 흔한 답은 상관계수입니다. 하나가 오를 때 다른 하나도 오르면 +1, 반대로 움직이면 −1, 무관하면 0. 간단하고 계산도 빠릅니다.

그런데 상관계수에는 치명적인 사각지대가 있습니다. 직선이 아닌 관계를 못 봅니다. 예를 들어 B 가 A 에 대해 U 자 모양으로 움직이면 — A 가 작을 때도 B 가 크고 A 가 클 때도 B 가 큰 관계 — 상관계수는 0 에 가깝게 나옵니다. 관계가 분명히 있는데 없다고 답하는 거죠.

스무고개로 생각하기

상호정보량(mutual information, MI) 은 다르게 묻습니다.

"B 의 값을 맞히는 스무고개를 한다고 하자.
A 의 값을 미리 알려 주면 질문을 몇 번 덜 해도 되는가?"

덜 해도 되는 질문 수 = 상호정보량. 전혀 도움이 안 되면 0.
관계의 모양은 상관없습니다. 직선이든 U자든 계단이든, A 가 B 를 맞히는 데 도움이 되기만 하면 MI 가 큽니다.

ARACNE 가 상관계수 대신 MI 를 쓰는 이유가 이것입니다. 전사인자와 표적의 관계는 포화(더 넣어도 안 늘어남) 나 문턱(어느 선을 넘어야 켜짐) 같은 비선형이 흔하기 때문입니다.

High school상관계수가 못 보는 관계를 본다

	상관계수	상호정보량
잡는 관계	직선만	어떤 모양이든
0 이면	직선 관계 없음	완전 독립

유전자 조절은 직선이 아니다

전사인자가 적당히 있어야 표적이 켜지고 너무 많으면 오히려 억제되는 경우가 흔하다.

그러면 산 모양 이 되고 상관계수는 0 이다.

모양을 가정하지 않는 도구가 모양을 모를 때 유용하다

MI 의 정의를 그대로 옮긴 코드입니다. 여덟 칸짜리 표 하나로 관계의 세기를 잽니다.

Python Runs in your browser

import numpy as np

# 상호정보량을 정의대로 계산해 봅니다 — 히스토그램 두 개와 결합 히스토그램 하나.
def mi_binned(x, y, bins=8):
    # 1) 두 변수를 각각 bins 개의 칸에 넣는다 (같은 개수씩 = 등빈도)
    qx = np.quantile(x, np.linspace(0, 1, bins + 1)); qx[0] -= 1e-9; qx[-1] += 1e-9
    qy = np.quantile(y, np.linspace(0, 1, bins + 1)); qy[0] -= 1e-9; qy[-1] += 1e-9
    bx = np.digitize(x, qx[1:-1]); by = np.digitize(y, qy[1:-1])
    # 2) 결합 확률표 P(x,y) 를 만든다
    P = np.zeros((bins, bins))
    for i, j in zip(bx, by):
        P[i, j] += 1
    P /= P.sum()
    Px = P.sum(1, keepdims=True); Py = P.sum(0, keepdims=True)
    # 3) MI = sum P(x,y) * log( P(x,y) / (P(x)P(y)) )
    nz = P > 0
    return float((P[nz] * np.log(P[nz] / (Px @ Py)[nz])).sum())

rng = np.random.default_rng(0)
n = 400
a = rng.normal(size=n)

직선   = a * 0.9 + rng.normal(size=n) * 0.4          # 직선 관계
유자   = a**2      + rng.normal(size=n) * 0.4        # U 자 관계
무관계 = rng.normal(size=n)                           # 아무 관계 없음

for 이름, b in [("직선 관계", 직선), ("U자 관계", 유자), ("무관계", 무관계)]:
    r = np.corrcoef(a, b)[0, 1]
    print(f"{이름:10s}  상관계수 r = {r:+.3f}   상호정보량 MI = {mi_binned(a, b):.3f}")
print()
print("U자 관계를 보세요 — 상관계수는 거의 0인데 MI 는 분명히 큽니다.")

High schoolMI 를 어떻게 계산하나

MI = H(B) − H(B|A)

단계	하는 일
1	두 유전자 값을 칸으로 나눔
2	칸 조합마다 샘플 수를 셈
3	확률로 바꿔 공식에 넣음

칸 수가 문제다

7칸 × 7칸 = 49칸 이다. 샘플이 100개면 칸당 2개.

분포 추정이 아주 부정확하다.

그래서 샘플이 많아야 한다

3강의 11,070명이 여기에 쓰인다.

필요한 샘플 수는 추정하려는 분포의 차원이 정한다

실전에서는 칸 나누기 대신 순위를 쓴다

위 코드는 정의에 충실하지만 문제가 있습니다. 칸을 몇 개로 나눌지에 따라 값이 흔들리고, 유전자 쌍이 수백만 개면 너무 느립니다.

그래서 ARACNE 계열 도구는 보통 순위 변환 + 가우시안 근사를 씁니다.

순위-가우시안 상호정보량

1) 유전자마다 값을 순위로 바꾼다        (1등, 2등, 3등 …)
2) 순위를 표준정규 눈금으로 옮긴다      (van der Waerden 변환)
3) 그 위에서 상관계수 rho 를 구한다      (= 스피어만 상관)
4) MI = -0.5 * ln(1 - rho^2)

단조로운(오르내리는 방향이 일정한) 관계면 이 근사가 아주 잘 맞습니다.

이 방법의 장점은 행렬 곱 한 번으로 수백만 쌍을 동시에 계산할 수 있다는 것입니다. 브라우저 안에서 1,807 × 525 개의 쌍을 몇 초 만에 끝낼 수 있는 이유가 이것입니다.

순위로 바꾼 뒤의 상관이 곧 스피어만 상관이고, 거기서 MI 가 바로 나옵니다.

Python Runs in your browser

import gene
import numpy as np
from scipy import stats

E = gene.expr()

# 1) 순위 → 표준정규 눈금
def rank_normal(M):
    n = M.shape[1]
    R = np.apply_along_axis(stats.rankdata, 1, M)   # 행(유전자)마다 순위
    return stats.norm.ppf(R / (n + 1.0))            # 순위를 정규분포 위치로

X = rank_normal(E.values.astype(float))
X = (X - X.mean(1, keepdims=True)) / X.std(1, keepdims=True)   # 행마다 표준화

# 2) 실제 유전자 쌍으로 확인 — 두 방법이 얼마나 비슷한가
gi = {g: i for i, g in enumerate(E.index)}
for a, b in [("E2F6", "MCM2"), ("STAT3", "SOCS3"), ("DDX54", "PUS1"), ("DDX54", "SCRIB")]:
    if a in gi and b in gi:
        rho = float((X[gi[a]] * X[gi[b]]).mean())
        mi  = -0.5 * np.log(1 - rho**2)
        pear = float(np.corrcoef(E.loc[a], E.loc[b])[0, 1])
        print(f"{a:7s}–{b:7s}  피어슨 {pear:+.3f}   스피어만 {rho:+.3f}   MI {mi:.4f}")

High school표본이 적으면 MI 가 부풀려진다

표본	MI 추정
적음	실제보다 큼
많음	정확해짐

왜 그런가

표본이 적으면 우연한 뭉침 이 생긴다. 그것이 관계처럼 보인다.

해결 — 섞어서 기준선을 만든다

같은 표본 수로 섞으면 같은 편향 이 들어간다. 그러니 비교하면 상쇄된다.

편향을 없애기 어려우면 편향이 같이 들어간 기준선과 비교하면 된다

🎮 상호정보량 실험실

관계의 모양을 바꿔 가며 상관계수와 MI 가 어떻게 달라지는지 보세요. 그다음 실제 TCGA 유전자 쌍으로도 확인할 수 있습니다.

High school순위 변환을 먼저 한다

MI 를 계산하기 전에 발현을 순위 로 바꾼다.

이점	내용
칸이 균등해짐	각 칸에 같은 수의 샘플
정규화에 둔감	단조 변환은 순위를 안 바꿈
이상치에 강함	—

첫 줄이 실용적으로 가장 크다

원래 값으로 칸을 나누면 어떤 칸은 비고 어떤 칸은 넘친다.

순위로 바꾸면 모든 칸에 같은 수 가 들어간다.

전처리 하나로 뒤의 추정 문제가 크게 완화된다

🤔 Check yourself

상호정보량이 상관계수보다 나은 점은?

🤔 Check yourself

두 변수가 완전히 무관할 때 MI 값은?

🤔 Check yourself

MI = -0.5 * ln(1 - rho**2) 라는 근사식을 쓰는 대가는?