16강 / 20강

열두 번 검정하면 — 다중검정 보정

우연히 기대되는 개수 0.6개

14강에서 우리는 암종마다 검정을 했습니다. 12번 이죠. 그중 세 개가 p < 0.05 였습니다. 이것을 어떻게 읽어야 할까요?

먼저 감을 잡아 봅시다. 아무 관련이 없어도 12번 검정하면 몇 개가 유의할까요?

고등학생열두 번 검정하면

14강에서 암종마다 검정을 했다. 12번이다.

그러면 우연히 몇 개가 유의할까

기댓값 = 12 × 0.05 = 0.6개

관찰	해석
유의한 것이 1개	우연 기댓값과 비슷
3개	기댓값의 5배 — 신호일 수 있음
0개	—

유의한 것의 개수만으로는 판단할 수 없다 — 기댓값과 견줘야 한다

아무 관련이 없어도 12번 중 3개 이상이 유의할 확률이 2%쯤 됩니다.

Python 브라우저에서 실행

import numpy as np

rng = np.random.default_rng(0)
# 완전히 무관한 두 값으로 12번 검정하기를 2,000번 되풀이
개수 = []
for _ in range(2000):
    ps = []
    for _ in range(12):
        a, b = rng.normal(size=60), rng.normal(size=60)
        from scipy import stats
        ps.append(stats.mannwhitneyu(a, b).pvalue)
    개수.append(sum(p < 0.05 for p in ps))

개수 = np.array(개수)
print(f"12번 검정할 때 유의한 것의 개수 — 평균 {개수.mean():.2f}개 (이론값 0.60)")
print()
for k in range(5):
    print(f"  {k}개 나올 확률 {100*(개수 == k).mean():5.1f}%")
print(f"  3개 이상 나올 확률 {100*(개수 >= 3).mean():5.1f}%")

2%. 낮지만 0은 아닙니다. 그리고 실제 연구에서는 12번이 아니라 수백 번 검정하는 일도 흔합니다. 유전자 2만 개를 하나씩 검정한다면? 1,000개가 그냥 유의해집니다.

그래서 보정이 필요합니다. 두 가지 방식이 널리 쓰입니다.

고등학생12번은 적은 편이다

검정 수	우연 기댓값
12	0.6
100	5
2만 (유전자 전체)	1,000

그래도 보정해야 하나

12번이면 보정의 대가 도 작다. 본페로니로 하면 문턱이 0.05/12 = 0.0042 가 된다.

엄격해지지만 감당할 만하다.

보정 방법의 선택

방법	통제하는 것	언제
본페로니	하나라도 가짜일 확률	검정 수가 적을 때
BH (FDR)	가짜의 비율	검정 수가 많을 때

검정 수가 적으면 엄격한 보정을 써도 잃는 것이 적다

보정 전 3개 → BH 뒤 2개, Bonferroni 뒤 2개. 유방암이 떨어져 나갑니다.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients()
행 = []
for t, g in p.dropna(subset=["OS", "OS_time"]).groupby("tumor"):
    r = til.surv_test(g)
    if r:
        행.append([t, r["z"], r["p"]])
행.sort(key=lambda x: x[2])
ps = np.array([r[2] for r in 행])
k = len(ps)

bonf = np.minimum(ps * k, 1)
bh   = til.bh(ps)

print(f"검정 {k}번")
print(f"{'암종':<6}{'z':>7}{'p':>11}{'Bonf':>11}{'BH(q)':>11}")
for (t, z, pv), b, q in zip(행, bonf, bh):
    별 = "  *" if q < 0.05 else ""
    print(f"{t:<6}{z:>7.2f}{pv:>11.2e}{b:>11.2e}{q:>11.2e}{별}")
print()
print(f"보정 없이 유의: {int((ps < .05).sum())}개")
print(f"Bonferroni 유의: {int((bonf < .05).sum())}개")
print(f"BH 유의: {int((np.array(bh) < .05).sum())}개")

고등학생보정을 안 하는 경우도 있다

상황	보정
미리 정한 주요 결과 하나	불필요
탐색적 분석	필요 · 또는 명시
여러 검정 중 좋은 것 고름	반드시 필요

첫 줄이 중요한 예외다

임상시험에서 1차 결과변수 를 미리 정해 두면 그것 하나만 보고 판단한다. 보정이 필요 없다.

여러 개를 보고 좋은 것을 고르는 순간 보정이 필요해진다.

보정이 필요한지는 검정 수가 아니라 어떻게 골랐느냐가 정한다

결과를 정리하면 —

SKCM — 어떤 보정에도 살아남습니다 (BH q = 1.4×10⁻⁴). 단단한 결과입니다.
CESC — BH 로는 살아남고(q = 0.024), Bonferroni 로는 아슬아슬합니다(0.047).
BRCA — 보정 전 p = 0.017 이었지만 BH q = 0.067 로 떨어집니다.

BRCA 의 결과가 가짜라는 뜻이 아닙니다. "12번 중 하나로서는 충분히 설득력이 없다" 는 뜻이에요. 확인하려면 다른 코호트에서 다시 봐야 합니다.

고등학생숨은 다중검정

세어지지 않는 다중검정이 있다.

숨은 검정	내용
문턱 탐색	15강 — 수십 번
분모 선택	2강
조각 크기	4강
변수 조합	12강
부분집단 분석	"이 하위군에서는…"

이것들이 다 검정 횟수를 늘린다

보고하지 않은 시도도 실제로는 검정한 것 이다. 그런데 보정 계산에는 안 들어간다.

이것을 연구자 자유도 라 부른다. 선택의 여지가 많을수록 우연히 유의한 결과를 얻기 쉽다.

보고하지 않은 시도도 다중검정이다 — 그것이 재현 위기의 큰 원인이다

🤔 확인 문제

아무 관련이 없어도 12번 검정하면 평균 몇 개가 p < 0.05 가 됩니까?

🤔 확인 문제

BH 보정이 Bonferroni 보다 덜 인색한 까닭은?