Lesson 20 of 20

판정 — 우리가 짠 아라크네, 몇 점인가

전부 이어 붙이고, 못한 것까지 적는다

스무 강이 끝났습니다. 처음에 한 약속 — "아라크네 한 벌이 손에 남는다" — 을 확인할 차례입니다. 배운 것을 전부 이어 붙여 봅시다.

순위 변환 7강MI 5·6강 귀무 문턱 9강DPI 10·11강 부트스트랩 12강regulon 13강 VIPER 15강판정

High school우리가 짠 아라크네, 몇 점인가

단계	구현했나	실제와의 차이
MI 계산	했음	추정 방법이 단순
순위 변환	했음	같음
문턱 (셔플)	했음	반복 횟수가 적음
DPI	했음	같음
부트스트랩	했음	횟수가 적음
병렬화 · 최적화	안 함	규모가 다름

뼈대는 같고 규모와 세부가 다르다 — 축소 모형의 전형

5강부터 13강까지가 이 열 줄입니다. 1강에서 '무슨 뜻인지 모르고' 돌렸던 그 코드죠.

Python Runs in your browser

# 아라크네 전 과정 — 배운 것을 한 함수로.
import numpy as np
from arac import (load_expr, rank_transform, mi_bins, candidate_pairs,
                  null_mi, dpi_prune, regulons_from, score, true_edges, TFS)

def my_aracne(genes, X, tfs, bins=7, alpha=1e-3, eps=0.0, n_perm=2000):
    U = rank_transform(X)                                          # 7강
    mi = {e: mi_bins(U[genes.index(e[0])], U[genes.index(e[1])], bins)
          for e in candidate_pairs(genes, tfs)}                    # 5·6·8강
    thr = float(np.quantile(null_mi(U, n_perm, bins, seed=1), 1 - alpha))   # 9강
    raw = {e for e, v in mi.items() if v > thr}
    kept, dropped = dpi_prune(raw, mi, eps)                        # 10·11강
    return kept, regulons_from(kept, tfs), thr, mi                 # 13강

genes, X, samples = load_expr("arac_expr.bin")
edges, reg, thr, mi = my_aracne(genes, X, TFS)

print("문턱값 :", round(thr, 4))
print("간선   :", len(edges))
print("regulon:", {k: len(v) for k, v in reg.items()})
print()
print("채점   :", score(edges, true_edges()))

파라미터 정리 — 무엇을 왜 그렇게 정했나

파라미터	우리 값	정한 근거	바꾸면
칸 수 (bins)	7	6강 — n^1/3 ≈ 5.8 과 스터지스 8.6 의 가운데	늘리면 편향 ↑, 신호 여유 ↓
유의수준 (α)	0.001	9강 — 후보 279개에서 기대 거짓 0.28개	느슨하면 그림자 ↑, 조이면 약한 관계 놓침
DPI 관용값 (ε)	0	11강 — regulon 오염을 더 크게 봄	0.05 로 올리면 재현율 1.00 회복
부트스트랩	100판 / 80%	12강 — 포아송 기준은 λ 가 커서 헐거웠음	기준을 올리면 정밀도 ↑ 재현율 ↓
전사인자 목록	6개	주어진 것 (실제로는 Lambert et al. 1,639개)	18강 — 목록이 나쁘면 전부 무너짐

High school규모의 차이가 만드는 것

	이 실습	실제
유전자	24	2만
쌍	279	3,000만
샘플	수십	수백~수천
부트스트랩	수십 번	100~200번

규모가 커지면 새 문제가 생긴다

문제	내용
계산 시간	며칠
메모리	수 GB
다중검정	훨씬 엄격한 문턱
DPI 삼각형	수가 폭발

규모가 커지면 알고리즘이 아니라 공학이 문제가 된다

이 자료에서는 대부분의 조합이 f1 0.95 언저리입니다 — 알고리즘이 파라미터에 지나치게 예민하지 않다는 좋은 신호입니다.

Python Runs in your browser

# 파라미터 조합을 몇 가지 비교해 봅니다 — '가장 좋은 한 벌'은 없습니다.
import numpy as np
from arac import (load_expr, rank_transform, mi_bins, candidate_pairs,
                  null_mi, dpi_prune, score, true_edges, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}
truth = set(true_edges())

print(f"{'칸':>3}{'α':>8}{'ε':>6}{'간선':>6}{'정밀도':>9}{'재현율':>9}{'f1':>8}")
for bins in (6, 7, 9):
    nullv = null_mi(U, n_perm=800, bins=bins, seed=1)
    mi = {e: mi_bins(U[ix[e[0]]], U[ix[e[1]]], bins)
          for e in candidate_pairs(genes, TFS)}
    for alpha in (0.01, 0.001):
        thr = float(np.quantile(nullv, 1 - alpha))
        raw = {e for e, v in mi.items() if v > thr}
        for eps in (0.0, 0.05):
            kept, _ = dpi_prune(raw, mi, eps)
            s = score(kept, truth)
            print(f"{bins:>3}{alpha:>8}{eps:>6.2f}{s['n']:>6}"
                  f"{s['precision']:>9.3f}{s['recall']:>9.3f}{s['f1']:>8.3f}")

🎮 최종 판정기

항목을 켜고 끄며 "우리가 짠 아라크네를 믿을 수 있는가" 를 스스로 판정해 보세요. 기준을 어디에 두느냐에 따라 결론이 달라지는 것을 보는 것이 목적입니다.

High school못한 것까지 적는다

못한 것	영향
정교한 MI 추정 (KSG 등)	편향이 큼
충분한 부트스트랩	안정성 추정이 거침
배치효과 보정	가짜 간선 가능
실제 규모	계산량 문제를 못 겪음
독립 검증	19강 — 정답이 없음

그래도 이 실습의 값어치

ARACNe 를 블랙박스로 쓰지 않게 된다.

결과가 이상할 때 어디를 의심할지 안다 — 샘플 수인가, 칸 수인가, 관용값인가, 목록인가.

축소판을 손으로 만들어 본 사람만이 진짜를 디버깅할 수 있다

우리가 하지 못한 것 — 이것도 함께 적어야 합니다

✘ 진짜 간선 하나를 잃었다 — DDX54–STAT3. 0.0008 차이로 DPI 가 잘랐고, ε = 0.05 를 주면 돌아오지만 그러면 다른 가짜가 남는다
✘ 가짜 간선 둘이 남았다 — MYC–STAT3 (형제 관계), E2F1–IL10
✘ 방향을 정하지 못했다 — MI 는 대칭이다. DDX54→MYC 인지 MYC→DDX54 인지 자료만으로는 모른다
✘ 정답을 아는 자료로만 채점했다 — 진짜 자료에서는 19강의 간접 검증뿐이다
✘ 규모가 작다 — 50유전자 · 200샘플. 실제는 2만 × 500 이고, 그 규모에서는 계산 시간과 다중검정이 전혀 다른 문제가 된다

못한 것을 적지 않은 계산 결과는 믿을 수 없습니다. 이것이 이 강의의 마지막 교훈입니다.

여기서 어디로 갈까

하고 싶은 것	다음 걸음
진짜 자료로 돌려 보기	ARACNe-AP (자바) 또는 pyARACNe · R 의 `viper` 패키지
원 논문 읽기	Margolin et al., ARACNE, BMC Bioinformatics 2006 · Lachmann et al., ARACNe-AP, Bioinformatics 2016 · Alvarez et al., VIPER, Nature Genetics 2016
이 그물을 쓰는 법	짝 과목 바이퍼(VIPER) 첫걸음 (drson.iotok.org/viper) — regulon 으로 단백질 활성을 읽는 20강. 인과까지 가려면 디지트(DIGGIT) (/diggit)
실제 RNA-seq 분석 배우기	자매 강의 생물정보학 첫걸음 (drson.iotok.org/bio) — GEO 원자료로 차등발현부터 GSEA 까지
정보이론 더 보기	엔트로피 · KL 발산 · 조건부 MI · 전이 엔트로피(방향이 있는 MI)
다른 네트워크 복원법	GENIE3 (랜덤 포레스트) · CLR · WGCNA (가중 상관) · GRNBoost2

이 코드에는 아무 계산도 없습니다. 스무 강을 한 번에 되짚어 보는 용도입니다.

Python Runs in your browser

# 마지막 셀 — 20강을 한 화면에.
print("아라크네 첫걸음 — 20강 요약")
print("=" * 52)
steps = [
    ("1-2강",  "문제 정의와 재료",      "발현 행렬 · 전사인자 목록 · 후보 쌍 279"),
    ("3-4강",  "왜 상관계수가 아닌가",   "직선 자의 한계 · 엔트로피 = 모름의 양"),
    ("5-6강",  "상호정보량",            "MI = H(X) − H(X|Y) · 칸 수의 딜레마"),
    ("7-8강",  "순위 변환과 MI 행렬",    "copula · 279쌍 전부 재기"),
    ("9강",    "귀무분포 문턱",          "섞어서 α = 0.001 → 51간선 (가짜 15)"),
    ("10-11강", "DPI 와 관용값",         "그림자 13개 제거 → 정밀도 0.946"),
    ("12강",   "부트스트랩 합의",        "80% 기준 → 정밀도 1.000"),
    ("13-14강", "regulon 과 네트워크",   "부대 명부 · 허브 ≠ 사령관"),
    ("15-16강", "VIPER 와 마스터 조절자", "부하로 상사 읽기 · 상관에서 인과로"),
    ("17-18강", "사례와 함정",           "DDX54 · 배치효과 · 샘플 수"),
    ("19-20강", "검증과 판정",           "정답 없이 믿는 법 · 못한 것 적기"),
]
for a, b, c in steps:
    print(f"  {a:<8}{b:<20}{c}")
print("=" * 52)
print("수고하셨습니다. 이제 아라크네는 남의 프로그램이 아닙니다.")

High school다음 걸음

관심	과목
VIPER 를 깊이	/viper
인과 추론과 DIGGIT	/diggit
실제 연구 사례	/gene
정보이론 · 엔트로피	/dm
통계적 검정	/stat
발현 자료 다루기	/geo · /bulk

이 강의가 남기려는 한 문장

ARACNe 는 상관을 재고, 문턱을 세우고, 그림자를 지우는 세 걸음이다.

각 걸음에 매개변수와 가정 이 있고, 그것들이 결과를 만든다.

그리고 정답표가 없으니 얼마나 맞았는지 알 수 없다.

정답을 모르는 문제에서는 방법의 가정을 아는 것이 결과를 아는 것보다 중요하다

🤔 Check yourself

우리가 짠 아라크네가 진짜 간선 DDX54–STAT3 를 놓친 것을 보고할 때 가장 정직한 방식은?

🤔 Check yourself

아라크네 결과를 논문에 실을 때 반드시 함께 적어야 하는 것이 아닌 것은?

🤔 Check yourself

20강을 마친 지금, 아라크네의 산출물을 한 문장으로 가장 정확히 말한 것은?