14강 / 20강

다중검정 — 2만 번 던지면 우연도 당첨된다

Bonferroni 와 BH FDR

동전을 한 번 던져 앞면이 나오는 것은 놀랍지 않습니다. 스무 번 연속 앞면이 나오면 놀랍습니다. 그런데 백만 명이 각자 스무 번씩 던진다면? 누군가는 반드시 스무 번 연속 앞면을 냅니다. 그 사람이 특별한 게 아니라, 시도 횟수가 많았을 뿐입니다.

유전체 분석이 정확히 이 상황입니다. 유의수준 0.05 로 20,000번 검정하면 아무 신호가 없어도 1,000개가 "유의"하게 나옵니다.

고등학생2만 번 던지면 우연도 당첨된다

검정 수 × 유의수준 = 우연히 유의한 개수

검정 수	p<0.05 기댓값
20	1
2만	1,000
100만	5만

DIGGIT 은 검정 수가 아주 많다

변이 1만 × MR 100 = 100만 검정.

보정 없이는 5만 개가 우연히 나온다.

많이 물어보면 우연히 맞는 답이 많이 나온다 — 정의상 그렇다

🎮 문턱을 옮겨 보세요

p값들을 정렬해 놓고 Bonferroni 와 BH 문턱을 나란히 그려 보세요. 둘이 얼마나 다른지, 어느 쪽이 몇 개를 살리는지 보입니다.

고등학생본페로니와 BH 의 차이

	본페로니	BH (FDR)
통제하는 것	가짜가 하나라도 나올 확률	가짜의 비율
문턱	α/n	순위에 따라 달라짐
엄격함	매우	적당
적합한 상황	확증 연구	탐색 연구

DIGGIT 은 탐색이다

목표가 후보를 좁히는 것 이지 확정하는 것이 아니다.

그러니 가짜가 좀 섞여도 괜찮다 — 어차피 실험으로 확인할 테니.

확증이 목적이면 엄격하게, 탐색이 목적이면 적당하게 — 목적이 방법을 정한다

귀무가설이 참일 때 p값은 0과 1 사이에 고르게 퍼집니다. 이 성질이 모든 보정의 출발점입니다.

Python 브라우저에서 실행

# 아무 신호도 없는 자료에서 '유의한' 결과가 얼마나 나오는지 세어 봅니다
import random
random.seed(5)

검정수 = 20000
p값 = [random.random() for _ in range(검정수)]      # 귀무가설이 참이면 p는 균등분포

for 기준 in [0.05, 0.01, 0.001]:
    n = sum(1 for p in p값 if p < 기준)
    print(f"p < {기준:<6} 인 검정: {n:>6}개  (기대값 {검정수*기준:.0f}개)")

print()
print("전부 가짜입니다 — 진짜 신호를 하나도 넣지 않았으니까요.")
print("이래서 보정 없이 p<0.05 를 쓰면 논문이 아니라 소설이 됩니다.")

고등학생BH 방법의 원리

단계	하는 일
1	p 값을 작은 순으로 정렬
2	i 번째 p 값을 (n/i) 배함
3	단조 증가하도록 조정
4	그것이 q 값

왜 (n/i) 인가

i 번째로 작은 p 값이라면 그보다 작은 것이 i 개다.

우연이라면 기댓값이 n×p 개 나온다. 그러니 n×p / i 가 가짜 비율의 추정치다.

가짜의 기댓값을 관찰된 개수로 나눈 것 — 그것이 FDR 의 직관이다

두 가지 보정 방식

Bonferroni — 하나도 틀리지 않겠다

문턱을 α / m 으로 낮춥니다 (m = 검정 수). 거짓 발견이 하나라도 나올 확률(FWER) 을 α 이하로 묶습니다.
아주 안전하지만 아주 보수적 — 진짜 신호도 많이 놓칩니다.

BH FDR — 발견 중 가짜 비율을 관리하겠다

p값을 정렬해 p₍ᵢ₎ ≤ (i/m)·α 를 만족하는 가장 큰 i 까지 채택합니다. 발견한 것들 중 가짜의 비율을 α 이하로 묶습니다.
100개를 발견했고 FDR 5% 라면 그중 5개쯤은 가짜라고 각오하는 것입니다.

유전체 분석에서는 거의 언제나 BH FDR 을 씁니다. 목표가 "완벽한 확실성"이 아니라 "실험해 볼 만한 후보 목록"이기 때문입니다.

BH 절차의 핵심은 '조건을 만족한 가장 큰 순위까지 전부 채택' 입니다. 중간에 끊지 않습니다.

Python 브라우저에서 실행

# BH(Benjamini-Hochberg) 절차를 직접 구현합니다
def BH(p값들, alpha=0.05):
    m = len(p값들)
    순서 = sorted(range(m), key=lambda i: p값들[i])
    통과까지 = -1
    for 자리, i in enumerate(순서, start=1):
        if p값들[i] <= 자리/m * alpha:
            통과까지 = 자리                    # 조건을 만족한 '가장 큰 자리' 를 기억
    채택 = set(순서[:통과까지]) if 통과까지 > 0 else set()
    # q값 (보정된 p값) — 뒤에서부터 누적 최소
    q = [0]*m; 최소 = 1.0
    for 자리 in range(m, 0, -1):
        i = 순서[자리-1]
        최소 = min(최소, p값들[i] * m / 자리)
        q[i] = min(최소, 1.0)
    return 채택, q

p값 = [0.0001, 0.0008, 0.003, 0.009, 0.02, 0.04, 0.11, 0.31, 0.55, 0.83]
채택, q = BH(p값, alpha=0.05)

m = len(p값)
print(f"{'순위':>4}{'p값':>10}{'BH 문턱':>10}{'q값':>10}   채택?")
for 자리, i in enumerate(sorted(range(m), key=lambda i: p값[i]), start=1):
    문턱 = 자리/m*0.05
    print(f"{자리:>4}{p값[i]:>10.4f}{문턱:>10.4f}{q[i]:>10.4f}   {'✅' if i in 채택 else '—'}")
print()
# 살아남는 개수도 세어서 찍습니다 — 손으로 적어 두면 자료가 바뀔 때 거짓말이 됩니다
bonf기준 = 0.05 / m
bonf채택 = [p for p in p값 if p < bonf기준]
print(f"Bonferroni 기준은 {bonf기준:.4f} — {len(bonf채택)}개가 살아남습니다: "
      f"{', '.join(f'{p:g}' for p in sorted(bonf채택))}")
print(f"BH 기준으로는 {len(채택)}개가 살아남습니다.")
print()
print("BH 가 두 개를 더 건집니다 — 그 둘이 '조금 덜 확실하지만 볼 만한 후보' 입니다.")

고등학생검정 수를 줄이는 것이 더 낫다

방법	내용
F-CNV 필터	변이 후보를 줄임 (5강)
MR 을 좁힘	조절자 수를 줄임 (10강)
사전 지식	알려진 암 유전자만

왜 보정보다 나은가

보정은 문턱을 엄격하게 만든다 — 진짜도 함께 걸러진다.

후보를 미리 줄이면 진짜는 남기고 검정 수만 준다.

단 위험도 있다

줄이는 기준이 틀리면 진짜를 버린다.

좁히는 것이 보정보다 효율적이지만 좁히는 기준이 옳아야 한다

🤔 확인 문제

BH FDR 을 0.05 로 두고 100개의 발견을 얻었습니다. 이것을 바르게 해석한 것은?

DIGGIT 이 다중검정을 줄이는 두 가지 방법

검정 자체를 줄인다 — MR 25개만 상대하므로 검정 수가 수백 배 적습니다 (2강). 같은 신호라도 보정 문턱이 훨씬 낮아 살아남습니다.
독립된 증거를 요구한다 — aQTL 만으로 판정하지 않고 조건부 분석(16강)까지 통과해야 합니다. 우연히 한 관문을 넘은 후보가 두 관문을 다 넘기는 훨씬 어렵습니다.

'독립된 증거 두 개' 가 DIGGIT 설계의 핵심 사상입니다.

Python 브라우저에서 실행

# 관문을 두 개 두면 우연이 얼마나 걸러지는지 계산합니다
p1 = 0.01     # aQTL 관문
p2 = 0.01     # 조건부 분석 관문

print(f"관문 하나만: 우연히 통과할 확률 {p1:.4f}")
print(f"두 관문 모두: {p1*p2:.6f}  (두 검정이 독립이라면)")
print()

후보수 = 5000
print(f"후보 {후보수}개를 검정할 때 우연히 통과하는 수")
print(f"  관문 하나: {후보수*p1:.0f}개")
print(f"  관문 둘  : {후보수*p1*p2:.2f}개")
print()
print("두 증거가 완전히 독립은 아니지만(같은 발현 자료를 쓰니까),")
print("방향이 다른 증거를 겹치면 거짓 후보가 크게 줍니다.")

🤔 확인 문제

DIGGIT 이 마스터 레귤레이터를 소수로 좁히는 것이 통계적으로 이득인 이유는?

🤔 확인 문제

Bonferroni 보정과 BH FDR 중 유전체 분석에서 BH 를 더 많이 쓰는 이유는?