8강 / 20강

모든 쌍을 재면 — MI 행렬

279쌍을 재고, 계산량을 실감한다

도구가 갖춰졌습니다. 순위로 바꾸고(7강), 칸으로 나눠(6강) MI 를 재는(5강) 법을 압니다. 이제 후보 쌍 전부에 대해 그 일을 반복하면 됩니다.

1강에서 봤듯이 후보는 적어도 한쪽이 전사인자인 쌍뿐입니다. 50개 유전자 · 전사인자 6개 → 1,225쌍이 아니라 279쌍.

고등학생모든 쌍을 재면

유전자 n 개면 쌍이 n(n−1)/2 개다.

유전자 수	쌍의 수
24 (이 실습)	276
100	4,950
1,000	약 50만
20,000	약 2억

계산량이 폭발한다

쌍 하나마다 MI 를 계산하는 데 시간이 걸린다. 2억 쌍이면 며칠 이 걸릴 수 있다.

n² 로 늘어나는 계산은 n 이 조금만 커져도 감당이 안 된다

3천만 쌍. 여기에 부트스트랩 100번을 곱하면 30억 번의 MI 계산이 됩니다.

Python 브라우저에서 실행

# 후보 쌍이 어떻게 279개가 되는지 세어 봅니다.
from arac import load_expr, TFS, candidate_pairs

genes, X, samples = load_expr("arac_expr.bin")
g, t = len(genes), len(TFS)

print("전체 쌍          :", g * (g - 1) // 2)
print("전사인자끼리     :", t * (t - 1) // 2)
print("전사인자 × 나머지:", t * (g - t))
print("합계             :", t * (t - 1) // 2 + t * (g - t))
print("candidate_pairs():", len(candidate_pairs(genes, TFS)))
print()
print("실제 규모라면 — 유전자 20,000 · 전사인자 1,600:")
G, T = 20000, 1600
print(f"  후보 쌍 {T*(T-1)//2 + T*(G-T):,} 개")

브라우저 안의 파이썬으로도 279쌍은 순식간입니다. 3천만 쌍이면 몇 시간짜리 일이 됩니다.

Python 브라우저에서 실행

# 279쌍을 실제로 재고 시간을 재 봅니다.
import time
from arac import load_expr, rank_transform, mi_bins, candidate_pairs, TFS

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X)
ix = {n: i for i, n in enumerate(genes)}

t0 = time.time()
mi = {}
for a, b in candidate_pairs(genes, TFS):
    mi[(a, b)] = mi_bins(U[ix[a]], U[ix[b]], 7)
dt = time.time() - t0

print(f"{len(mi)}쌍 계산 — {dt:.3f}초  (쌍당 {dt/len(mi)*1e6:.0f} 마이크로초)")
print()
print("가장 강한 관계 10개")
for (a, b), v in sorted(mi.items(), key=lambda kv: -kv[1])[:10]:
    print(f"  {a:9s}–{b:9s} MI = {v:.3f}")

고등학생후보를 줄이는 방법

ARACNe 는 모든 쌍을 다 보지 않는다.

적어도 한쪽이 전사인자인 쌍만 본다

	쌍의 수
모든 쌍	n(n−1)/2
전사인자 × 전체	tf × n

숫자로 보면

유전자 2만, 전사인자 1,500개라면 2억 쌍이 3,000만 쌍 으로 줄어든다. 약 7분의 1.

근거는 생물학이다

유전자 조절은 전사인자가 한다. 전사인자가 아닌 두 유전자 사이의 직접 조절은 드물다.

생물학적 지식으로 탐색 공간을 좁히는 것이 가장 효과적인 최적화다

🎮 MI 행렬을 열지도로 보기

진한 칸일수록 MI 가 큽니다. 유전자를 부대별로 묶어 정렬해 두었기 때문에, 대각선을 따라 네모난 덩어리가 보일 겁니다 — 그 하나하나가 regulon 입니다.

고등학생그런데 전사인자 목록에 의존한다

18강에서 다시 나올 함정이다.

목록의 문제	결과
목록에 없는 조절자	영원히 못 찾음
목록이 너무 넓음	계산량 증가 · 가짜 증가
목록이 종·조직 특이적이 아님	부정확

첫 줄이 심각하다

miRNA, 후성유전 조절자, RNA 결합 단백질도 유전자를 조절한다.

전사인자 목록에 없으면 ARACNe 가 절대 못 찾는다.

탐색 공간을 좁히면 그 밖의 답은 원리적으로 못 찾는다

mi_matrix 는 후보만이 아니라 모든 쌍을 잽니다 — 그림으로 보려고 그렇게 했습니다.

Python 브라우저에서 실행

# 열지도를 직접 그려 봅니다.
import numpy as np
import matplotlib.pyplot as plt
from arac import load_expr, rank_transform, mi_matrix, NOISE

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X)

M = mi_matrix(U, bins=7)                 # 50×50, 1225쌍 전부 (조금 걸립니다)

plt.figure(figsize=(6.4, 5.6))
plt.imshow(M, cmap="magma", interpolation="nearest")
plt.colorbar(label="MI (bits)")
plt.title("MI matrix (genes ordered by regulon)")
plt.xticks([]); plt.yticks([])
plt.tight_layout(); plt.show()

print("왼쪽 위 6×6 이 전사인자끼리, 그 아래로 부대별 덩어리가 이어집니다.")
# '줄 없는 유전자' 는 MI 크기로 정의된 것이 아니라 **정답 네트워크에서 이어지지 않은**
# 유전자다. 그러니 세는 것도 그 정의를 그대로 써야 한다 (문턱을 지어내면 딴것을 세게 된다).
print(f"오른쪽 아래 구석의 어두운 덩어리가 '줄 없는 유전자' {len(NOISE)}개입니다:")
print("  ", ", ".join(NOISE))
row = M.sum(axis=1)
iso = [row[genes.index(g)] for g in NOISE]
print(f"  이들의 행 합은 {min(iso):.1f}~{max(iso):.1f} 로, 나머지 중 가장 작은 값"
      f" {min(v for g, v in zip(genes, row) if g not in NOISE):.1f} 보다도 낮습니다.")

이제 문제는 '고르기'입니다

279개의 MI 값을 손에 쥐었습니다. 이 중 어디까지가 진짜 관계일까요?

MI 가 가장 큰 것부터 줄을 세워 보면, 위쪽은 확실히 진짜처럼 보이고 아래쪽은 확실히 잡음처럼 보입니다. 문제는 가운데예요. 0.30 은 진짜일까요, 아닐까요? 판단의 기준이 필요합니다.

위쪽은 거의 진짜, 아래쪽은 거의 가짜입니다. 경계가 흐릿한 30~55위 사이가 승부처입니다.

Python 브라우저에서 실행

# 279쌍을 MI 순으로 줄 세우고, 정답과 대조해 봅니다. (정답은 이 강의에서만 볼 수 있습니다)
from arac import load_expr, rank_transform, mi_bins, candidate_pairs, TFS, true_edges

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}
truth = set(true_edges())

mi = {e: mi_bins(U[ix[e[0]]], U[ix[e[1]]], 7) for e in candidate_pairs(genes, TFS)}
ranked = sorted(mi.items(), key=lambda kv: -kv[1])

print("순위  쌍                        MI     진짜?")
for i in [0, 1, 2, 9, 19, 29, 34, 39, 44, 49, 54, 59, 79]:
    (a, b), v = ranked[i]
    print(f"{i+1:>4}  {a+'–'+b:<24} {v:.3f}   {'✔ 진짜' if (a, b) in truth else '✘ 아님'}")

print()
n_true_top36 = sum(1 for (e, v) in ranked[:36] if e in truth)
print(f"상위 36개 안에 진짜가 {n_true_top36}개 (정답은 모두 36개)")

고등학생행렬로 저장한다

MI 값들을 대칭 행렬 로 저장한다.

성질	내용
대칭	MI(A,B) = MI(B,A) — 절반만 저장하면 됨
대각선	MI(A,A) = H(A) — 자기 자신
희소	대부분 0 에 가까움

세 번째가 중요하다

문턱을 넘는 쌍은 극히 일부 다. 그러니 전체 행렬을 저장하면 낭비 다.

실제 구현은 희소 표현 을 쓴다 — 문턱을 넘는 쌍만 목록으로.

메모리도 n² 로 늘어난다

2만 × 2만 행렬은 수 GB 다. 희소하게 저장하면 수십 MB 로 줄어든다.

대부분이 0 인 자료는 0 을 저장하지 않는 것만으로 크게 줄어든다

🤔 확인 문제

유전자 20,000개 중 전사인자가 1,600개일 때 아라크네가 재야 하는 쌍은 대략 몇 개일까요?

🤔 확인 문제

MI 행렬을 regulon 순서로 정렬했더니 대각선을 따라 네모난 덩어리가 보였습니다. 이 덩어리의 정체는?

🤔 확인 문제

MI 순으로 줄을 세웠을 때, 위쪽과 아래쪽은 판정이 쉬운데 가운데가 어려운 이유는?