Lesson 6 of 20

칸을 몇 개로 나눌까 — 추정의 딜레마

너무 굵으면 못 보고, 너무 잘으면 헛것을 본다

5강에서 얼렁뚱땅 넘어간 것이 하나 있습니다 — 왜 7칸인가?

이것이 히스토그램 방식 MI 추정의 유일하고도 가장 큰 골칫거리입니다. 칸 수를 바꾸면 MI 값 자체가 달라지기 때문입니다.

칸이 적으면 (2~3칸)

무늬가 뭉개집니다. 대각선으로 예쁘게 늘어선 관계도 "왼쪽 아래 반, 오른쪽 위 반" 정도로만 보여서 진짜 관계를 놓칩니다.

편향은 작지만 분해능이 없다

칸이 많으면 (15칸 이상)

200명을 225칸에 뿌리면 칸마다 한 명 남짓. 대부분 빈 칸이고 우연히 두 명 든 칸이 무늬처럼 보입니다. 무관한 쌍의 MI 가 부풀어 오릅니다.

분해능은 좋지만 편향이 폭발

High school칸을 몇 개로 나눌까

MI 를 계산하려면 연속 값을 칸으로 나눠야 한다. 그런데 몇 칸으로?

칸 수	문제
너무 적음 (2~3칸)	세밀한 관계를 못 봄
너무 많음 (20칸)	칸당 샘플이 없어 헛것을 봄

굵으면 못 보고 잘면 헛것을 본다 — 추정의 근본 딜레마

GAPDH–ACTB 는 진짜로 무관한 쌍입니다. 20칸에서는 0.4 를 넘습니다 — 7칸에서의 DDX54–MYC 절반이죠.

Python Runs in your browser

# 칸 수를 바꿔 가며 세 쌍의 MI 를 재 봅니다.
from arac import load_expr, rank_transform, mi_bins

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}

PAIRS = [("DDX54", "MYC"), ("NFKB1", "IL10"), ("GAPDH", "ACTB")]
print(f"{'칸':>4}" + "".join(f"{a+'–'+b:>16s}" for a, b in PAIRS))
print("-" * 54)
for bins in [2, 3, 5, 7, 9, 12, 16, 20]:
    row = [mi_bins(U[ix[a]], U[ix[b]], bins) for a, b in PAIRS]
    print(f"{bins:>4}" + "".join(f"{v:>16.3f}" for v in row))

print()
print("맨 오른쪽 열을 보세요 — 아무 관계 없는 쌍인데 칸을 늘릴수록 MI 가 커집니다.")

편향과 문턱은 같이 움직인다

겁먹을 필요는 없습니다. 중요한 것은 MI 의 절대값이 아니라 문턱과의 거리거든요. 칸을 늘리면 무관한 쌍의 MI 가 오르지만, 귀무분포로 세운 문턱도 같이 오릅니다.

우리 자료에서 (α = 0.001):
· 5칸 → 문턱 0.135 · GAPDH–ACTB 0.070 → 안 넘음 ✓ · DDX54–MYC 0.638 (문턱의 4.7배)
· 7칸 → 문턱 0.256 · GAPDH–ACTB 0.089 → 안 넘음 ✓ · DDX54–MYC 0.779 (3.0배)
· 20칸 → 문턱 1.524 · GAPDH–ACTB 1.381 → 안 넘음 ✓ · DDX54–MYC 1.772 (1.2배)

그래서 칸 수를 조금 잘못 골라도 무너지지는 않습니다. 다만 진짜 신호와 문턱 사이의 여유가 줄어들어, 약한 관계부터 하나씩 안 보이게 됩니다.

High school왜 잘면 헛것을 보나

칸이 많으면 칸당 샘플이 적어진다.

칸 수	2차원 칸	샘플 100개일 때 칸당
5	25	4개
7	49	2개
10	100	1개
20	400	0.25개

칸당 1개면 무슨 일이

각 샘플이 자기만의 칸 에 있다. 그러면 완벽한 관계 처럼 보인다 — "A 가 이 칸이면 B 는 반드시 저 칸".

실제로는 우연 인데.

칸이 샘플보다 많으면 무작위 자료에서도 완벽한 관계가 나온다

귀무분포를 300번만 뽑아서 조금 거칩니다. 20초쯤 걸릴 수 있어요.

Python Runs in your browser

# 신호 대 문턱의 여유가 칸 수에 따라 어떻게 변하는지 그려 봅니다.
import numpy as np
import matplotlib.pyplot as plt
from arac import load_expr, rank_transform, mi_bins, null_mi

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}

bl = list(range(2, 17))
strong, weak, none_, thr = [], [], [], []
for b in bl:
    strong.append(mi_bins(U[ix["DDX54"]], U[ix["MYC"]], b))
    weak.append(  mi_bins(U[ix["NFKB1"]], U[ix["IL10"]], b))
    none_.append( mi_bins(U[ix["GAPDH"]], U[ix["ACTB"]], b))
    thr.append(float(np.quantile(null_mi(U, n_perm=300, bins=b, seed=3), 0.999)))

plt.figure(figsize=(7.2, 4))
plt.plot(bl, strong, "o-", label="DDX54-MYC (strong, true)", color="#6aa9e9")
plt.plot(bl, weak,   "o-", label="NFKB1-IL10 (nonlinear, true)", color="#7fd1b9")
plt.plot(bl, none_,  "o-", label="GAPDH-ACTB (no edge)", color="#94a3b8")
plt.plot(bl, thr,    "--", lw=2, label="threshold (alpha=0.001)", color="#f4a259")
plt.xlabel("number of bins"); plt.ylabel("MI (bits)")
plt.legend(fontsize=8); plt.tight_layout(); plt.show()

# 문턱 대비 여유 — 이 값이 1 보다 커야 간선으로 살아남습니다.
print(f"{'칸':>4}{'강한 관계':>12}{'비선형 관계':>13}{'무관한 쌍':>12}")
for i, b in enumerate(bl):
    if b in (2, 4, 7, 10, 13, 16):
        print(f"{b:>4}{strong[i]/thr[i]:>12.2f}{weak[i]/thr[i]:>13.2f}{none_[i]/thr[i]:>12.2f}")
print()
print("칸이 늘수록 세 값이 모두 오르지만 문턱이 더 빨리 올라, 여유(배수)가 줄어듭니다.")

그러면 몇 칸으로?

이론적으로 딱 떨어지는 답은 없습니다. 실무에서 쓰는 어림 규칙이 몇 가지 있습니다.

규칙	식	n = 200 이면
세제곱근 규칙	b ≈ n^1/3	5.8 → 6칸
스터지스 규칙	b ≈ 1 + log₂ n	8.6 → 9칸
칸마다 최소 5개	b ≈ √(n/5)	6.3 → 6칸
이 강의	—	7칸

대체로 6~9칸을 가리킵니다. 우리는 그 가운데인 7을 씁니다. 아래 위젯으로 6, 7, 8, 9 를 직접 비교해 보세요 — 결과가 거의 안 바뀝니다.

High school칸 수를 정하는 규칙들

규칙	공식
제곱근 규칙	√n
스터지스 규칙	1 + log₂n
프리드먼-다이어코니스	사분위 범위 기반

샘플 100개면

규칙	칸 수
√100	10
1 + log₂100	약 7.6

ARACNe 가 7칸 쯤을 쓰는 것이 이런 규칙과 대략 맞는다.

그런데 어느 것도 절대적이지 않다

규칙마다 다른 답을 준다. 관행 이지 정답 이 아니다.

여러 규칙이 다른 답을 주면 그것은 정답이 없다는 뜻이다

mi_gauss 는 r 하나로 MI 를 계산합니다. 빠르지만 3강의 함정을 그대로 물려받습니다.

Python Runs in your browser

# 세 가지 추정 방식을 나란히 비교해 봅니다.
import numpy as np
from arac import load_expr, rank_transform, mi_bins, mi_gauss

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}

print(f"{'쌍':18s}{'칸 7개':>10s}{'정규가정':>10s}{'실제 관계':>12s}")
print("-" * 50)
for a, b, kind in [("DDX54", "MYC", "직선 강함"), ("MYC", "NPM1", "직선 강함"),
                   ("NFKB1", "IL10", "U자 (비선형)"), ("GAPDH", "ACTB", "없음")]:
    b1 = mi_bins(U[ix[a]], U[ix[b]], 7)
    b2 = mi_gauss(X[ix[a]], X[ix[b]])       # -0.5*log2(1-r^2) — 상관계수만으로 구한 MI
    print(f"{a+'–'+b:18s}{b1:>10.3f}{b2:>10.3f}{kind:>12s}")

print()
print("정규가정 방식은 U자 관계에서 무너집니다 (0.024). 상관계수만 쓰는 것과 같기 때문입니다.")

High school칸 나누기를 피하는 방법

방법	내용
커널 밀도 추정	부드러운 곡선으로 분포를 추정
k-최근접이웃 추정	칸 대신 이웃 거리를 씀
적응적 칸	자료 밀도에 맞춰 칸 크기를 바꿈

두 번째가 요즘 널리 쓰인다

KSG 추정량이라 부른다. 칸을 안 나누고 각 점의 k 번째 가까운 이웃 까지의 거리로 계산한다.

칸 수를 정할 필요가 없다 — 대신 k 를 정해야 한다.

문제가 옮겨질 뿐이다

어떤 방법을 써도 매개변수 하나 는 정해야 한다.

추정에는 언제나 매개변수가 있다 — 없애는 것이 아니라 옮기는 것이다

🤔 Check yourself

칸 수를 20으로 늘렸더니 아무 관계 없는 쌍의 MI 가 0.4 까지 올랐습니다. 이때 올바른 대응은?

🤔 Check yourself

n = 1000 인 자료에 세제곱근 규칙을 쓰면 칸 수는 몇 개쯤일까요?

🤔 Check yourself

ARACNe-AP 가 원래 ARACNe 보다 훨씬 빠른 이유는?