10강 / 20강

그림자를 지운다 — 데이터 처리 부등식

아라크네를 아라크네답게 만드는 한 걸음

9강에서 남은 51개 간선 중 15개가 가짜였습니다. 그리고 그 가짜들은 우연이 아니라 진짜로 MI 가 큰 것들이었죠. 문턱으로는 손댈 수 없습니다.

이 그림자들에는 공통점이 있습니다. 전부 삼각형의 일부라는 것입니다.

DDX54 ── MYC ── NPM1
두 진짜 관계가 이어져 있으면, 양 끝(DDX54–NPM1)도 자연히 닮아 보인다

DDX54 가 오르면 MYC 가 오르고, MYC 가 오르면 NPM1 이 오릅니다. 그러니 DDX54 와 NPM1 도 같이 오르죠. 하지만 둘 사이에 직접 선은 없습니다.

0.470 이면 문턱 0.267 을 훌쩍 넘습니다. 문턱으로는 절대 못 지웁니다.

Python 브라우저에서 실행

# 우리 자료에서 실제 삼각형 하나를 뜯어봅니다.
from arac import load_expr, rank_transform, mi_bins, true_edges

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}
truth = set(true_edges())

def show(a, b):
    e = tuple(sorted((a, b)))
    v = mi_bins(U[ix[a]], U[ix[b]], 7)
    print(f"  {a:7s}–{b:7s} MI = {v:.3f}   {'진짜 간선' if e in truth else '← 정답에 없음'}")

print("삼각형: DDX54 · MYC · NPM1")
show("DDX54", "MYC")
show("MYC", "NPM1")
show("DDX54", "NPM1")
print()
print("가장 약한 변이 DDX54–NPM1 이고, 그것이 바로 정답에 없는 변입니다.")
print("DPI 가 맞는 답을 짚었습니다.")

고등학생왜 정보가 줄어드나

전화 게임을 생각해 보자. A 가 B 에게 말하고, B 가 C 에게 전한다.

단계	정보
A → B	일부 소실
B → C	또 소실
A → C	둘의 소실이 누적

그러니 A–C 의 MI 가 가장 작다

사슬의 양 끝 이 가장 약한 연결 이다.

DPI 가 이용하는 것이 이것이다

세 유전자의 MI 를 비교해서 가장 작은 것 을 지운다.

가장 약한 고리가 간접 연결일 가능성이 높다 — 그것을 지운다

삼각형을 찾는 부분이 핵심입니다. 두 이웃 집합의 교집합이 곧 '삼각형의 세 번째 꼭짓점'입니다.

Python 브라우저에서 실행

# DPI 가지치기를 직접 짜 봅니다.
def my_dpi(edges, mi, eps=0.0):
    # 이웃 목록부터 만든다
    nbr = {}
    for a, b in edges:
        nbr.setdefault(a, set()).add(b)
        nbr.setdefault(b, set()).add(a)

    drop = set()
    for a, b in edges:
        for c in nbr[a] & nbr[b]:            # a 와도 b 와도 이어진 c → 삼각형
            tri = [(a, b), tuple(sorted((a, c))), tuple(sorted((b, c)))]
            vals = [mi[e] for e in tri]
            weakest = tri[vals.index(min(vals))]
            others = min(v for e, v in zip(tri, vals) if e != weakest)
            if mi[weakest] < others * (1 - eps):
                drop.add(weakest)
    return edges - drop, drop

# 손으로 만든 작은 예로 확인
mi_demo = {("A", "B"): 0.80, ("B", "C"): 0.75, ("A", "C"): 0.40}
kept, dropped = my_dpi(set(mi_demo), mi_demo)
print("남은 것:", sorted(kept))
print("지운 것:", sorted(dropped), "← 가장 약한 변")

정밀도가 0.706 → 0.946 으로 뜁니다. 대신 진짜 간선 하나를 잃었습니다 — 11강의 주제입니다.

Python 브라우저에서 실행

# 진짜 자료에 걸어 봅니다 — 문턱만 썼을 때와 DPI 까지 썼을 때.
import numpy as np
from arac import (load_expr, rank_transform, mi_bins, candidate_pairs,
                  null_mi, dpi_prune, score, true_edges, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}
truth = set(true_edges())

mi = {e: mi_bins(U[ix[e[0]]], U[ix[e[1]]], 7) for e in candidate_pairs(genes, TFS)}
thr = float(np.quantile(null_mi(U, n_perm=2000, bins=7, seed=1), 0.999))

raw = {e for e, v in mi.items() if v > thr}
kept, dropped = dpi_prune(raw, mi, eps=0.0)

print("문턱만      :", score(raw, truth))
print("DPI 까지    :", score(kept, truth))
print()
print(f"지운 간선 {len(dropped)}개 중 진짜였던 것: "
      f"{len(dropped & truth)}개  (나머지 {len(dropped - truth)}개는 그림자였습니다)")
print()
print("지운 것들:")
for a, b in sorted(dropped, key=lambda e: -mi[e]):
    mark = "⚠ 진짜였는데 지움" if (a, b) in truth else "✔ 그림자"
    print(f"  {a:8s}–{b:9s} MI={mi[(a, b)]:.3f}  {mark}")

🎮 삼각형을 직접 판정해 보기

우리 자료에서 실제로 발견된 삼각형들입니다. 하나를 골라 세 변의 MI 를 보고 어느 변을 지울지 직접 판단해 보세요. 정답(그 변이 실제로 가짜였는지)은 판정 뒤에 나옵니다.

고등학생삼각형마다 확인한다

단계	하는 일
1	연결된 세 유전자(삼각형)를 찾음
2	세 MI 값을 비교
3	가장 작은 간선을 지움
4	모든 삼각형에 반복

계산량이 또 문제다

삼각형의 수는 n³ 에 비례할 수 있다. 그런데 간선이 남은 것만 보면 훨씬 적다.

9강에서 문턱으로 걸러낸 뒤에 하니 실제로는 감당할 만하다.

비싼 계산은 값싼 필터로 먼저 좁힌 뒤에 한다

그림자 8개가 전부 지워지고 진짜 셋만 남았습니다.

Python 브라우저에서 실행

# 정말 삼각형만 봐도 긴 사슬이 정리되는지 확인해 봅니다.
# 우리 정답에는 DDX54 → MYC → (MYC 표적 8개) 라는 사슬이 있습니다.
import numpy as np
from arac import (load_expr, rank_transform, mi_bins, candidate_pairs,
                  null_mi, dpi_prune, REGULON_TRUE, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X); ix = {n: i for i, n in enumerate(genes)}
mi = {e: mi_bins(U[ix[e[0]]], U[ix[e[1]]], 7) for e in candidate_pairs(genes, TFS)}
thr = float(np.quantile(null_mi(U, n_perm=2000, bins=7, seed=1), 0.999))
raw = {e for e, v in mi.items() if v > thr}
kept, _ = dpi_prune(raw, mi, 0.0)

myc_targets = REGULON_TRUE["MYC"]
print("DDX54 와 'MYC 의 표적' 사이의 간선 — DDX54→MYC→표적 이라는 그림자")
for t in myc_targets:
    e = tuple(sorted(("DDX54", t)))
    if e in raw:
        print(f"  DDX54–{t:6s} MI={mi[e]:.3f}  문턱 통과 → DPI 뒤 "
              f"{'남음 ✗' if e in kept else '지워짐 ✔'}")
print()
print("DDX54 의 regulon 에 최종적으로 남은 것:",
      sorted(b if a == 'DDX54' else a for a, b in kept if 'DDX54' in (a, b)))
print("정답:", ["CD38", "CD47", "MYC"])

고등학생DPI 가 ARACNe 를 특별하게 만든다

방법	간접 연결 처리
상관계수 네트워크	안 함 — 그림자가 남음
부분상관 (GGM)	선형 가정 하에서 제거
ARACNe (DPI)	비선형에서도 제거

그런데 대가가 있다

DPI 는 실수도 한다. 직접 연결인데 MI 가 작으면 지워진다.

11강에서 그 사례를 본다 — 0.0008 차이로 진짜 간선이 지워졌다.

그림자를 지우는 규칙이 진짜도 함께 지울 수 있다 — 다음 강의 주제

🤔 확인 문제

데이터 처리 부등식이 말하는 것은?

🤔 확인 문제

삼각형 A–B–C 의 MI 가 각각 AB = 0.80, BC = 0.75, AC = 0.40 입니다. DPI 가 지울 변은?

🤔 확인 문제

DPI 를 적용한 뒤 정밀도가 0.71 → 0.95 로 올랐습니다. 그 대가는 무엇이었나요?