17강 / 20강

마스터 레귤레이터 — 순위표에서 진짜를 고르기

6,000번 검사하면 우연도 300번 유의해진다

순위표가 나왔습니다. 전사인자 6,000개에 대해 NES 와 p 값이 붙어 있어요. p < 0.05 인 것을 세어 보니 412개 입니다. 412개가 전부 마스터 레귤레이터일까요?

아닙니다. 아무 일도 없는 세계에서도 6,000번 검사하면 6,000 × 0.05 = 300개가 우연히 p < 0.05 를 통과합니다. 412개 중 300개는 그냥 운일 수 있다는 뜻입니다.

이것이 다중검정 문제이고, VIPER 를 실전에 쓸 때 반드시 넘어야 하는 문턱입니다.

고등학생순위표에서 진짜를 고르기

VIPER 는 수천 개 조절자 의 NES 를 준다. 그중 몇 개를 마스터 레귤레이터 로 고를 것인가?

고르는 기준	내용
NES 상위 몇 개	단순
p 값 문턱	다중검정 문제
그림자 제거 후	16강
기능적 검증	실험

순위표를 만드는 것과 그중 몇 개를 고르는 것은 다른 문제다

검사를 많이 하면 우연도 많아집니다. 당연한 이야기지만 자주 잊힙니다.

Python 브라우저에서 실행

# 아무 일도 없는데 6,000번 검사하면 무슨 일이 벌어지나.
import random
random.seed(1)

전사인자수 = 6000
가짜유의 = sum(1 for _ in range(전사인자수) if random.random() < 0.05)

print(f"진짜 신호가 하나도 없는 데이터에서 {전사인자수}개를 검사했더니")
print(f"  p < 0.05 를 통과한 것: {가짜유의}개")
print(f"  기대값             : {int(전사인자수*0.05)}개")
print()
print("전부 거짓 양성입니다. p 값을 그대로 쓰면 이 300개가 '발견'이 됩니다.")

고치는 법 — FDR (거짓 발견율)

본페로니 보정(p × 6000)은 너무 엄격해서 진짜 발견까지 다 죽입니다. 유전체 분야가 널리 쓰는 것은 벤저미니-호크버그(BH) 방법으로 계산하는 FDR(False Discovery Rate)입니다.

FDR 은 이렇게 약속합니다 — "내가 발견이라고 부른 것들 중에서 평균적으로 이 비율만큼은 가짜다." FDR 0.05 로 100개를 골랐다면 그중 5개쯤은 가짜일 것을 각오한다는 뜻이에요.

BH 절차 — p 값을 작은 것부터 줄 세우고(순위 i, 전체 m), 각각을 p·m/i 로 고칩니다. 그다음 뒤에서부터 앞으로 오며 누적 최솟값을 취해 값이 뒤집히지 않게 다듬습니다.

고등학생6,000번 검사하면 우연도 300번 유의해진다

6,000 × 0.05 = 300

	개수
검정한 조절자	6,000
p < 0.05 기댓값	300

그러니 p < 0.05 로는 부족하다

300개가 우연히 나오는데 그중 진짜를 어떻게 고르나?

보정이 필요하다

방법	문턱
본페로니	0.05 / 6000 ≈ 8×10⁻⁶
BH (FDR)	가짜의 비율을 통제

많이 물어보면 우연히 맞는 답이 많이 나온다 — 검정 수를 세는 것이 첫 걸음

BH 보정은 뒤에서부터 누적 최솟값을 취하는 것이 핵심입니다.

Python 브라우저에서 실행

# 벤저미니-호크버그 FDR 보정을 직접 구현합니다.
def bh보정(p값들):
    m = len(p값들)
    순서 = sorted(range(m), key=lambda i: p값들[i])
    q = [0.0]*m
    이전 = 1.0
    for 위치 in range(m-1, -1, -1):        # 뒤에서 앞으로
        i = 순서[위치]
        값 = p값들[i] * m / (위치 + 1)
        이전 = min(이전, 값)
        q[i] = min(1.0, 이전)
    return q

전사인자 = ["TF_A","TF_B","TF_C","TF_D","TF_E","TF_F","TF_G","TF_H"]
p값 =      [1e-9,  3e-7,  0.002, 0.008, 0.021, 0.038, 0.31,  0.72]

q값 = bh보정(p값)

print(f"{'전사인자':<8}{'p':>10}{'q (FDR)':>12}   판정 (FDR<0.05)")
for tf, p, q in zip(전사인자, p값, q값):
    판정 = "마스터 레귤레이터 ✓" if q < 0.05 else "탈락"
    print(f"{tf:<8}{p:>10.1e}{q:>12.4f}   {판정}")

print()
print("p < 0.05 인 것은 6개였지만, FDR 문턱을 넘는 것은 그보다 적습니다.")
print("p 값을 그대로 믿었다면 없는 발견을 보고할 뻔했습니다.")

🎮 문턱을 옮겨 보세요

NES 문턱과 FDR 문턱을 조절하며 몇 개가 살아남는지 보세요. 문턱을 느슨하게 하면 후보가 늘지만 그중 가짜의 비율도 늘어납니다. 몇 개를 보고할 것인가는 통계가 아니라 여러분이 정하는 것입니다 — 후속 실험을 몇 개나 할 수 있느냐에 달려 있습니다.

고등학생조절자는 독립이 아니다

다중검정 보정은 독립 을 가정하는 경우가 많다. 그런데 조절자들은 서로 상관 이 있다.

상황	영향
표적을 공유	점수가 함께 움직임
같은 경로	—

그러면 유효 검정 수가 6,000보다 작다

서로 상관이 높으면 사실상 몇 개만 독립적으로 본 것이다.

그러니 본페로니는 지나치게 엄격하다.

그래서 순열 기반 보정이 낫다

실제 자료의 상관 구조를 유지한 채 섞으면 유효 검정 수가 자동으로 반영된다.

검정들이 상관되어 있으면 독립 가정의 보정은 지나치게 보수적이다

옳은 문턱은 통계가 아니라 다음에 무엇을 할 것인가가 정합니다.

Python 브라우저에서 실행

# 문턱을 옮기면 얻는 것과 잃는 것 — 정밀도와 재현율의 맞바꿈.
import random
random.seed(5)

# 진짜 마스터 레귤레이터 20개 + 무고한 전사인자 980개
진짜 = set(range(20))
NES = {}
for i in range(1000):
    NES[i] = random.gauss(4.5, 1.2) if i in 진짜 else random.gauss(0, 1.0)

print(f"{'NES 문턱':>9}{'고른 수':>9}{'그중 진짜':>10}{'정밀도':>9}{'재현율':>9}")
for 문턱 in [1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 5.0]:
    고름 = [i for i, v in NES.items() if v >= 문턱]
    맞음 = len([i for i in 고름 if i in 진짜])
    정밀도 = 맞음/len(고름) if 고름 else 0
    재현율 = 맞음/len(진짜)
    print(f"{문턱:>9.1f}{len(고름):>9}{맞음:>10}{정밀도:>9.1%}{재현율:>9.1%}")

print()
print("문턱을 높이면 고른 것이 대부분 진짜지만(정밀도 ↑) 많이 놓칩니다(재현율 ↓).")
print("실험을 5개밖에 못 한다면 높은 문턱이, 훑어보기라면 낮은 문턱이 맞습니다.")

고등학생결국 실험이 정한다

단계	좁히는 정도
전체 조절자	6,000
NES 유의	수백
그림자 제거	수십
생물학적 타당성	10~20
실험 검증	몇 개

계산은 마지막 단계가 아니다

6,000을 20으로 좁히면 300배 절약이다. 그것으로 충분하다.

그리고 좁히는 각 단계가 판단이다

NES 문턱, 그림자 기준, 타당성 — 전부 사람이 정한다.

계산이 후보를 주고 판단이 그것을 좁히고 실험이 확정한다

🤔 확인 문제

전사인자 6,000개를 검사해 p < 0.05 인 것이 412개 나왔습니다. 가장 알맞은 대응은?

🤔 확인 문제

FDR 0.05 로 100개의 마스터 레귤레이터를 골랐습니다. 올바른 해석은?

🤔 확인 문제

후속 검증 실험을 다섯 개만 할 수 있는 상황에서 문턱 선택으로 알맞은 것은?