12강 / 20강

여러 번 돌려 합의를 본다 — 부트스트랩

이 간선은 사람이 몇 명 바뀌어도 버티는가

지금까지의 네트워크는 200명이라는 특정한 표본에서 나온 것입니다. 만약 다른 200명을 모았다면 같은 그물이 나왔을까요?

확인할 방법이 있습니다. 부트스트랩(bootstrap) 입니다.

200명 중에서 복원추출로 200명을 다시 뽑는다 → 네트워크를 다시 그린다 → 100번 반복

복원추출이라 어떤 사람은 세 번 뽑히고 어떤 사람은 아예 안 뽑힙니다 (평균적으로 37%가 빠집니다). 그러니 매번 조금씩 다른 자료가 되죠. 그래도 살아남는 간선이 튼튼한 간선입니다.

고등학생여러 번 돌려 합의를 본다

지금까지는 한 번 계산했다. 샘플이 조금 달랐으면 결과가 달랐을까?

부트스트랩으로 확인한다

단계	하는 일
1	샘플을 복원추출로 다시 뽑음
2	전체 ARACNe 를 다시 돌림
3	어느 간선이 나왔는지 기록
4	100번 반복
5	몇 번 나왔는지 센다

이 간선은 사람이 몇 명 바뀌어도 버티는가 — 그것이 부트스트랩의 물음

부트스트랩의 고전적인 37% 입니다. e^-1 = 0.368 에서 옵니다.

Python 브라우저에서 실행

# 복원추출이 어떤 것인지 먼저 봅니다.
import numpy as np

rng = np.random.default_rng(0)
n = 200
pick = rng.integers(0, n, n)          # 0~199 에서 200번 (중복 허용)

print("뽑힌 번호 앞 15개:", pick[:15])
print("서로 다른 사람 수:", len(set(pick.tolist())), "/ 200")
print("한 번도 안 뽑힌 사람:", n - len(set(pick.tolist())), "명")
print()
cnt = np.bincount(pick.astype(int), minlength=n)   # 브라우저(32비트)에서는 int 로 맞춰 준다
print("뽑힌 횟수 분포:", {int(k): int(v) for k, v in
                        zip(*np.unique(cnt, return_counts=True))})
print()
print("이론적으로 안 뽑힐 확률 = (1 - 1/200)^200 ≈",
      round((1 - 1/200) ** 200, 3), "→ 약 37%")

매번 나오는 간선과 어쩌다 한 번 나오는 간선이 뚜렷이 갈립니다.

Python 브라우저에서 실행

# 부트스트랩 20판을 돌려 간선이 몇 번 나오는지 세어 봅니다. (30초쯤 걸립니다)
import numpy as np
from arac import (load_expr, rank_transform, aracne, null_mi, true_edges, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U0 = rank_transform(X)
thr = float(np.quantile(null_mi(U0, n_perm=1000, bins=7, seed=1), 0.999))
truth = set(true_edges())

NB = 20
rng = np.random.default_rng(7)
counts = {}
for b in range(NB):
    pick = rng.integers(0, X.shape[1], X.shape[1])
    Ub = rank_transform(X[:, pick])
    kept, _, _, _ = aracne(genes, Ub, TFS, bins=7, thr=thr, eps=0.0)
    for e in kept:
        counts[e] = counts.get(e, 0) + 1

print(f"{NB}판 중 몇 번 나왔나 — 상위 8개와 하위 8개")
srt = sorted(counts.items(), key=lambda kv: -kv[1])
for e, c in srt[:8] + [(("…", "…"), -1)] + srt[-8:]:
    if c < 0:
        print("   …"); continue
    print(f"  {e[0]:8s}–{e[1]:9s} {c:>3}/{NB}회   {'진짜' if e in truth else '가짜'}")

고등학생복원추출이 무엇인가

샘플 100개에서 100개를 다시 뽑는데 뽑은 것을 도로 넣고 다시 뽑는다.

결과	내용
어떤 샘플은 여러 번	2~3번 뽑힐 수 있음
어떤 샘플은 한 번도	약 37%가 안 뽑힘

37% 라는 숫자

n 이 크면 특정 샘플이 한 번도 안 뽑힐 확률이 (1 − 1/n)ⁿ → 1/e ≈ 0.368 로 수렴한다.

그러니 매번 다른 63% 로 계산하는 셈이다.

복원추출은 표본을 다시 뽑는 상황을 흉내 내는 방법이다

몇 번 이상 나와야 남길까

ARACNe-AP 는 이것도 통계로 정합니다. 귀무 가정은 이렇습니다 — "만약 간선들이 매 판마다 아무렇게나 뽑힌다면, 한 간선이 등장하는 횟수는 포아송 분포를 따를 것이다."

λ = (전체 등장 횟수) ÷ (후보 쌍 수) → P(X ≥ k) < p 인 최소 k

그 k 보다 많이 나온 간선만 남깁니다. 편리한 점은 판수를 바꿔도 알아서 따라온다는 것이고, 조심할 점은 후보 쌍 수에 따라 기준의 성격이 달라진다는 것입니다. 직접 보시죠.

20판에서 포아송 기준은 16회(80%)로 잡힙니다 — 이 자료에서는 정밀도 1.000 이 나오는 아주 좋은 자리입니다.

Python 브라우저에서 실행

# 포아송 기준을 계산해 보고, 그것이 우리 자료에서 왜 헐거운지 봅니다.
import numpy as np
from arac import (load_expr, rank_transform, bootstrap_counts, poisson_cutoff,
                  null_mi, candidate_pairs, score, true_edges, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U0 = rank_transform(X)
thr = float(np.quantile(null_mi(U0, n_perm=1000, bins=7, seed=1), 0.999))
truth = set(true_edges())
n_cand = len(candidate_pairs(genes, TFS))

NB = 20
bc = bootstrap_counts(genes, X, TFS, n_boot=NB, bins=7, thr=thr, eps=0.0, seed=7)
cut, lam = poisson_cutoff(bc, n_cand, NB, p=1e-3)

print(f"후보 쌍 {n_cand}개 · 부트스트랩 {NB}판")
print(f"평균 등장 횟수 λ = {lam:.2f}")
print(f"포아송 기준     = {cut}회 이상")
print()
print(f"{'기준':>6}{'간선':>7}{'진짜':>6}{'가짜':>6}{'정밀도':>9}{'재현율':>9}")
for k in [1, cut, int(NB * 0.5), int(NB * 0.7), int(NB * 0.8), NB]:
    s = score({e for e, c in bc.items() if c >= k}, truth)
    tag = "  ← 포아송" if k == cut else ""
    print(f"{k:>6}{s['n']:>7}{s['tp']:>6}{s['fp']:>6}{s['precision']:>9.3f}{s['recall']:>9.3f}{tag}")

판수를 늘리면 기준이 상대적으로 느슨해집니다

같은 자료를 100판 돌리면 λ = 31.4 가 되고 포아송 기준은 51회(51%) 로 내려갑니다. 그 기준으로 자르면 간선 47개 · 정밀도 0.745 — 20판일 때보다 나빠집니다. 100판에서 정밀도 1.000 을 얻으려면 80회(80%) 로 잘라야 합니다.

왜 이런 일이 생길까요? 포아송 분포는 λ 가 커질수록 상대적으로 좁아집니다. λ = 6 일 때 2.6배 지점이던 기준이 λ = 31 일 때는 1.6배 지점이 되죠. 게다가 우리 후보 쌍은 279개뿐이라 λ 자체가 크게 나옵니다 — 실제 규모(후보 3천만 쌍)에서는 λ 가 1 보다 훨씬 작아 기준이 아주 엄격해집니다.

그래서 실무에서는 포아송 기준과 함께 "판수의 몇 % 이상" 같은 단순 기준을 같이 봅니다. 아래 위젯에서 100판 결과로 직접 확인해 보세요.

고등학생합의 문턱

출현 빈도	판단
100/100	매우 튼튼
80/100	튼튼
50/100	불안정
10/100	버림

문턱을 어디에 두나

또 하나의 임의 선택이다. 보통 50~80% 를 쓴다.

그런데 이것도 통계적으로 다룰 수 있다

"우연히 이만큼 자주 나올 확률" 을 계산해서 p 값 으로 바꿀 수 있다.

실제 ARACNe 구현이 그렇게 한다.

임의의 문턱을 확률로 바꾸면 근거가 생긴다

🎮 등장 횟수로 줄 세우기

100판을 미리 돌려 둔 결과입니다. 기준선을 옮기며 몇 회 이상을 남길 때 가장 좋은지 찾아보세요.

5~12강이 이 함수 하나에 들어 있습니다.

Python 브라우저에서 실행

# 지금까지 배운 것을 한 줄로 — 아라크네 완성본.
import numpy as np
from arac import (load_expr, rank_transform, aracne, score, true_edges, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X)                                  # 7강
kept, dropped, thr, mi = aracne(genes, U, TFS,
                                bins=7,                # 6강
                                alpha=1e-3,            # 9강
                                eps=0.0)               # 11강
print("문턱값        :", round(thr, 4))
print("MI 통과 간선  :", len(kept) + len(dropped))
print("DPI 로 지운 것:", len(dropped))                  # 10강
print("최종           :", len(kept))
print()
print("채점:", score(kept, true_edges()))
print()
print("1강에서 봤던 그 코드입니다. 이제 한 줄 한 줄 무슨 일을 하는지 압니다.")

고등학생부트스트랩이 잡는 것과 못 잡는 것

잡는 것	못 잡는 것
표본 추출의 변동	계통 편향
불안정한 간선	모든 샘플에 공통된 오류
—	배치 효과 (18강)
—	전사인자 목록의 오류

두 번째가 중요하다

모든 샘플이 같은 편향 을 갖고 있으면 부트스트랩으로 다시 뽑아도 그대로 다.

그러면 가짜 간선이 100/100 으로 나온다.

복원추출은 우연 변동을 재고 계통 편향은 못 잰다 — 통계의 반복되는 한계

🤔 확인 문제

부트스트랩에서 복원추출을 하면 원래 샘플의 몇 %쯤이 한 번도 안 뽑힐까요?

🤔 확인 문제

부트스트랩이 걸러 내는 불안정성이 아닌 것은?

🤔 확인 문제

같은 자료를 20판 돌렸을 때는 포아송 기준이 80%(16/20)였는데, 100판에서는 51%(51/100)로 내려갔습니다. 왜일까요?