19강 / 20강

정답을 모를 때 — 무엇으로 믿을 것인가

채점표가 없는 세상에서의 검증

이 강의 내내 우리는 채점을 해 왔습니다. 정밀도 0.946, 재현율 0.972 — 편안한 숫자들이죠. 그런데 그건 정답을 아는 모의자료였기 때문에 가능했습니다.

진짜 환자 자료에는 정답이 없습니다. 아라크네가 그물을 하나 내놓았는데, 그게 얼마나 맞는지 알 방법이 없습니다. 그럼 어떻게 믿을까요?

실무에서 쓰는 검증 방법 넷을 봅니다. 하나하나는 완전하지 않지만, 여러 방향에서 두들겨 보는 것이 최선입니다.

고등학생채점표가 없는 세상

유전자 조절망의 정답표가 없다. 그러면 맞았는지 어떻게 아나?

검증 방법	한계
알려진 관계와 대조	알려진 것이 극히 일부
ChIP-seq 자료	결합 ≠ 조절
섭동 실험	비쌈 · 일부만
다른 자료에서 재현	같은 편향이 있을 수 있음

정답을 모를 때는 여러 불완전한 증거를 모으는 수밖에 없다

① 다른 자료로 다시 뽑아 견주기 (재현성)

가장 먼저 할 수 있는 일입니다. 코호트를 둘로 나눠 각각 아라크네를 돌리고, 두 그물이 얼마나 겹치는지 봅니다. 정답은 몰라도 일관성은 잴 수 있어요.

겹침이 0.85 를 넘으면 꽤 안정적인 그물입니다. 0.5 아래면 그 그물로 결론을 내면 안 됩니다.

Python 브라우저에서 실행

# 서로 다른 두 코호트에서 그물을 뽑아 겹침을 재 봅니다.
import numpy as np
from arac import simulate, rank_transform, aracne, null_mi, GENES, TFS

def net(seed, n=150):
    _, Xn = simulate(n, seed=seed)
    U = rank_transform(Xn)
    thr = float(np.quantile(null_mi(U, n_perm=500, bins=7, seed=1), 0.999))
    kept, _, _, _ = aracne(GENES, U, TFS, bins=7, thr=thr)
    return kept

A = net(901)
B = net(902)

inter, union = A & B, A | B
print(f"코호트 A 간선 {len(A)}개 · 코호트 B 간선 {len(B)}개")
print(f"둘 다 있는 간선  {len(inter)}개")
print(f"자카드 유사도    {len(inter)/len(union):.3f}   (1 이면 완전히 같음)")
print(f"A 쪽 재현율      {len(inter)/len(A):.3f}   ← B 로 A 를 검증한 셈")
print()
print("A 에만 있는 간선:", sorted(A - B))
print("B 에만 있는 간선:", sorted(B - A))

고등학생ChIP-seq 이 왜 완전한 답이 아닌가

ChIP-seq 은 전사인자가 DNA 어디에 붙는지 를 잰다.

ChIP-seq 이 말하는 것	말하지 않는 것
결합한다	조절한다
—	어느 유전자를
—	활성화인가 억제인가

결합의 대부분이 기능적이지 않다

전사인자가 붙는 자리가 수만 곳 인데 실제로 조절하는 것은 일부 다.

그리고 어느 유전자인지 애매하다

결합 자리가 가장 가까운 유전자 를 조절한다고 가정하는데, 실제로는 수십만 염기 떨어진 유전자를 조절하기도 한다.

두 방법이 다른 것을 재면 일치하지 않는 것이 정상이다

② 실험으로 확인된 관계와 견주기 (외부 근거)

완전한 정답은 없어도 일부 정답은 있습니다. ChIP-seq(전사인자가 실제로 DNA 에 붙은 자리를 읽는 실험) 자료나 전사인자 결합 모티프 데이터베이스가 그것입니다.

어떻게 쓰나 — "아라크네가 찾은 MYC 의 표적 200개 중 몇 개가 ChIP-seq 에서 MYC 결합 자리가 확인된 유전자인가?" 를 셉니다. 그 비율이 무작위로 200개 골랐을 때보다 유의하게 높은가를 검정합니다.

한계 — ChIP-seq 은 "붙었다"만 말할 뿐 "조절했다"는 말하지 않습니다. 전사인자는 아무 일도 안 하면서 붙어 있기도 하거든요. 그리고 ChIP-seq 자료가 있는 전사인자는 전체의 일부뿐입니다.

③ 껐다 켜 보기 (섭동)

가장 강한 증거입니다. 전사인자를 실제로 녹다운하고 regulon 표적들이 정말 움직이는지 봅니다. 17강의 DDX54 연구가 한 일이 바로 이것이죠.

정답을 모르는 상황에서도 쓸 수 있는 검증입니다 — 필요한 것은 섭동 실험 하나뿐입니다.

Python 브라우저에서 실행

# 섭동 검증을 흉내 내 봅니다 — regulon 이 맞다면 표적이 같이 움직여야 합니다.
import numpy as np
from arac import (load_expr, rank_transform, aracne, regulons_from,
                  modes_and_weights, simulate, signature, GENES, TFS)

genes, X, samples = load_expr("arac_expr.bin")
U = rank_transform(X)
kept, _, _, mi = aracne(genes, U, TFS, bins=7, alpha=1e-3)
mw = modes_and_weights(genes, U, regulons_from(kept, TFS), mi)

_, Xw = simulate(20, seed=11)
_, Xk = simulate(20, seed=22, ddx54_mean=-1.8)
z = dict(zip(GENES, signature(Xw, Xk)))

# DDX54 regulon 의 표적이 움직인 정도 vs 나머지 유전자
targets = [t for t, *_ in mw["DDX54"]]
others = [g for g in GENES if g not in targets and g != "DDX54"]

tz = np.abs([z[t] for t in targets])
oz = np.abs([z[g] for g in others])
print(f"DDX54 regulon 표적 {len(targets)}개  |z| 평균 = {tz.mean():.2f}")
print(f"나머지 유전자 {len(others)}개        |z| 평균 = {oz.mean():.2f}")
print(f"→ {tz.mean()/oz.mean():.1f}배 더 많이 움직였습니다")
print()

# 무작위로 같은 수를 골랐을 때와 비교 (순열검정)
rng = np.random.default_rng(0)
null = [np.abs([z[g] for g in rng.choice(others, len(targets), replace=False)]).mean()
        for _ in range(2000)]
p = (np.sum(np.array(null) >= tz.mean()) + 1) / (len(null) + 1)
print(f"무작위 {len(targets)}개의 평균 분포에서 p = {p:.4f}")
print("→ 우연히 이만큼 움직이기는 어렵습니다. regulon 이 실체가 있다는 증거입니다.")

고등학생간접 증거를 모으는 법

증거	강도
ChIP-seq 결합	약함
결합 + 발현 상관	중간
섭동 후 표적 변화	강함
여러 자료에서 재현	강함
여러 종류의 증거가 일치	가장 강함

마지막이 핵심 원리다

서로 다른 한계 를 가진 방법들이 같은 답 을 주면 그 답이 믿을 만하다.

한 방법의 오류가 다른 방법에서 반복될 이유가 없으니까.

불완전한 증거 여럿이 일치하면 완전한 증거 하나에 가까워진다

④ 쓸모로 증명하기 (후속 예측력)

가장 실용적인 기준입니다. "이 그물로 만든 예측이 맞는가?"

VIPER 활성이 환자 생존을 예측하는가
VIPER 활성이 약물 반응을 예측하는가
지목한 마스터 조절자를 껐을 때 예측한 대로 되는가

그물의 개별 간선이 다 맞는지는 몰라도, 그물로 만든 예측이 맞는다면 쓸 만한 그물이라고 말할 수 있습니다. 17강의 연구가 최종적으로 한 것이 이겁니다 — "DDX54 를 끄면 면역치료가 들 것"이라는 예측이 동물에서 맞았죠.

네 가지 검증의 성격

방법	강도	비용	한계
① 재현성	약	싸다 (계산만)	일관되게 틀릴 수도 있다
② 외부 근거	중	싸다 (공개 자료)	결합 ≠ 조절, 자료가 일부만 있다
③ 섭동	강	비싸다 (실험)	한 번에 하나씩만
④ 예측력	강	가장 비싸다	왜 맞는지는 여전히 모른다

①부터 순서대로 올라가는 것이 정석입니다. ①에서 떨어지면 ③에 돈을 쓸 이유가 없습니다.

고등학생이 분야의 정직한 태도

말할 수 있는 것	말할 수 없는 것
이 방법으로 이런 간선이 나왔다	이것이 진짜 조절 관계다
알려진 관계 중 X% 를 회수했다	정확도가 X% 다
다른 자료에서도 재현되었다	참이다

그럼에도 유용하다

정답을 모르지만 후보를 좁히는 데는 충분하다(17강).

그리고 실험으로 하나씩 확인해 가면서 정답표가 조금씩 채워진다.

정답표가 없어도 그것을 만들어 가는 도구가 될 수 있다

🤔 확인 문제

정답을 모르는 진짜 자료에서 가장 먼저, 가장 싸게 할 수 있는 검증은?

🤔 확인 문제

ChIP-seq 으로 아라크네 결과를 검증할 때의 한계로 옳은 것은?

🤔 확인 문제

코호트를 둘로 나눠 뽑은 두 그물의 자카드 유사도가 0.25 였습니다. 어떻게 해석해야 할까요?