14강 / 20강

다중검정 — 347번 던지면 무엇이 걸리나

/mirna 의 실제 결과 · p<0.05 가 103개, 우연으로 기대되는 것 17.35개

9강에서 봤습니다 — 귀무가설이 참이면 p 값은 0에서 1 사이에 고르게 흩어집니다.

그러면 검정을 347번 하면? 아무 일이 없어도 347 × 0.05 ≈ 17개가 p<0.05 로 나옵니다.

한 번이라도 걸릴 확률 = 1 − 0.95^k

고등학생347번 던지면 무엇이 걸리나

9강에서 배웠습니다 — 귀무가설이 참이면 p 값은 고르게 흩어진다. 그러면 이런 계산이 나옵니다.

347 × 0.05 ≈ 17개가 아무 일 없이도 p<0.05 로 나온다

비유 — 동전 던지기 대회

동전을 5번 던져 전부 앞면이 나올 확률은 약 3% 입니다. 드물죠.

그런데 1,000명이 동시에 하면 30명쯤이 성공합니다.

그 30명이 특별한 능력이 있나요? 없습니다. 사람이 많아서 나온 거예요.

많이 시도하면 드문 일이 반드시 일어난다

유전자 2만 개가 정확히 그 상황입니다

유전자 하나하나가 동전을 던지는 사람이에요. 2만 명이 던지면 1,000명은 우연히 대박이 납니다.

그중에서 "이 유전자가 중요하다!" 를 고르면 헛다리죠.

공식으로 적으면

한 번이라도 걸릴 확률 = 1 − 0.95^k

검정 횟수 k	한 번이라도 거짓양성이 나올 확률
1	5%
10	40%
20	64%
100	99.4%

20번만 해도 거짓양성이 나올 확률이 3분의 2 입니다. 논문 하나에 검정을 20번 하는 건 아주 흔한 일이에요.

이 사이트의 세 과목이 각각 12번, 347번, 20,000번을 검정합니다.

Python 브라우저에서 실행

# 검정을 여러 번 하면 거짓양성이 어떻게 늘어나나
import numpy as np

print(" 검정 횟수 k     한 번이라도 p<0.05 일 확률     기대 거짓양성 수")
for k in [1, 5, 12, 20, 100, 347, 20000]:
    any_hit = 1 - 0.95 ** k
    print(f"   {k:7,d}          {any_hit*100:9.4f}%              {k*0.05:9.1f} 개")
print()
print("12 번은 /til 이 암종마다 검정한 횟수다.")
print("347 번은 /mirna 가 miRNA 마다 검정한 횟수다.")
print("20,000 번은 /diggit 이 유전자마다 검정한 횟수다.")
print()
print("전부 이 사이트의 강의에서 실제로 일어나는 숫자다.")

고등학생이 사이트의 세 과목이 각각

코드가 실제 숫자를 보여 줍니다.

과목	검정 횟수	우연 기대치
`/til`	12 (암종)	0.6개
`/mirna`	347 (miRNA)	17.35개
`/diggit`	20,000 (유전자)	1,000개

규모가 다르면 대처도 달라야 한다

/mirna 의 실제 결과

무엇	개수
검정한 miRNA	347
p < 0.05 (보정 없이)	103
우연으로 기대되는 수	17.35

이걸 어떻게 읽나

103개 중 17개쯤이 우연이라는 뜻입니다. 그러면 86개쯤이 진짜겠죠.

103 개가 다 가짜인 것도 아니고, 다 진짜인 것도 아니다

이 사실이 중요합니다. 보정을 안 했으니 전부 버려야 하는 게 아니에요. 신호가 분명히 있습니다 — 17개 기대인데 103개가 나왔으니까요.

그런데 '어느 것' 이 진짜인지는 모릅니다

몇 개가 진짜냐 와 어느 것이 진짜냐 는 다른 물음

통계는 앞엣것에만 답합니다. 19강에서 이 구별을 다시 만나요 — 가장 중요한 문장 중 하나입니다.

비유 — 상자 안의 불량품

제품 100개 중 5개가 불량이라는 걸 압니다. 그런데 어느 5개인지는 모릅니다.

통계가 알려 주는 건 "5개쯤 있다" 까지예요. 찾아내려면 하나씩 뜯어 봐야(=실험해 봐야) 합니다.

/mirna 가 실제로 본 것

/mirna 강의가 CPM 10 이상인 miRNA 347개를 검정했습니다. 결과입니다.

무엇	개수	뜻
검정한 miRNA	347
p < 0.05	103	보정 없이 세면
우연으로 기대되는 수	17.35	347 × 0.05
본페로니 문턱	0.000144	0.05 ÷ 347

103개 중 17개쯤은 우연입니다. 그런데 어느 17개인지 모릅니다. 그것이 다중검정 문제의 전부예요.

동시에 — 103개는 17.35개보다 여섯 배 많습니다. 그러니 "전부 우연" 도 아닙니다. 진짜가 상당히 섞여 있어요.

고등학생보정 방법 두 갈래

보정에는 철학이 다른 두 갈래가 있습니다. 15강에서 자세히 하지만 여기서 미리 잡아 둡시다.

	본페로니 (FWER)	벤자미니-호크버그 (FDR)
지키는 것	거짓양성이 하나라도 나올 확률	고른 것 중 가짜의 비율
방법	α 를 k 로 나눈다	순위에 따라 문턱을 조절
성격	아주 엄격	적당
쓰는 곳	확증 연구 · 규제	탐색 연구 · 유전체

본페로니는 아주 단순합니다

0.05 ÷ 347 = 0.000144 — 이보다 작아야 유의

단순하고 확실합니다. 그런데 너무 엄격해요.

비유 — 모든 문에 자물쇠 채우기

도둑이 한 명도 못 들어오게 하려면 문마다 자물쇠를 아주 튼튼하게 채워야 합니다.

그런데 그러면 손님도 못 들어옵니다. 진짜 발견도 함께 막히는 거죠.

거짓양성을 완전히 막으면 진짜도 대부분 놓친다

그래서 물음을 바꿉니다

"하나도 없어야 하나?" 대신 "몇 %까지 감수할 수 있나?" 로요.

그게 FDR 이고 15강의 주제입니다. 유전체 분석의 기본값이에요.

언제 본페로니를 쓰나

임상시험의 1차 평가변수처럼 틀리면 큰일 나는 경우입니다.

약을 승인할지 정하는 자리에서 "5개 중 하나는 가짜여도 괜찮다" 고 할 수는 없죠.

고등학생숨은 다중검정을 조심하세요

14강에서 가장 중요한 실전 교훈입니다. 세지 않은 검정이 있습니다.

논문에 보고된 검정 수가 실제로 한 검정 수는 아니다

숨은 다중검정의 예

무엇을 했나	실제로는
검정을 여럿 시도하고 하나를 골랐다	11강의 p 해킹
부분집단을 여럿 나눠 봤다	나눈 만큼 검정한 것
결과가 나올 때까지 표본을 더 모았다	볼 때마다 검정한 것
여러 결과변수를 재고 하나만 보고했다	잰 만큼 검정한 것

이런 것들은 논문에 안 적힙니다

특히 세 번째가 교묘합니다

"환자 50명에서 p=0.08 이 나왔다. 10명 더 모으자. p=0.06. 10명 더. p=0.04! 발표하자."

이걸 선택적 중단(optional stopping) 이라고 합니다. 결과를 보면서 표본을 늘리면 거짓양성률이 크게 올라가요.

언제 멈출지를 결과를 보고 정하면 안 된다

그래서 임상시험은

표본 수를 미리 정한다 (10강의 검정력 계산)
중간분석을 하려면 계획에 넣고 보정한다
1차 평가변수를 하나로 못 박는다

읽는 사람이 할 일

논문에서 "부분집단 분석에서 유의했다" 를 보면 조심하세요. 전체에서 안 나왔는데 쪼개서 나온 것이면 여러 번 시도한 결과일 수 있습니다.

그런 결과는 가설 생성으로만 쓰고, 새 연구로 확인해야 합니다.

거짓양성은 사라지지만 <b>진짜도 함께 사라집니다</b>. 탐색 연구에서는 너무 비쌉니다.

Python 브라우저에서 실행

# 본페로니가 얼마나 비싼가
import numpy as np
from scipy import stats
rng = np.random.default_rng(101)

K, N_TRUE = 347, 40          # 347개 중 40개가 진짜로 다르다
EFFECT, n = 0.7, 20
REP = 60

truth = np.arange(K) < N_TRUE
found_raw = found_bonf = fp_raw = fp_bonf = 0
for _ in range(REP):
    # 347개 검정을 한꺼번에 - (K, n) 두 장을 만들어 축을 따라 t 검정
    shift = np.where(truth, EFFECT, 0.0)[:, None]
    a = rng.normal(0, 1, (K, n)) + shift
    b = rng.normal(0, 1, (K, n))
    ps = stats.ttest_ind(a, b, axis=1).pvalue
    found_raw  += (ps[truth] < 0.05).sum()
    found_bonf += (ps[truth] < 0.05 / K).sum()
    fp_raw     += (ps[~truth] < 0.05).sum()
    fp_bonf    += (ps[~truth] < 0.05 / K).sum()

print(f"347개 중 {N_TRUE}개가 진짜. {REP}번 되풀이한 평균")
print()
print(f"  보정 없음    진짜 찾음 {found_raw/REP:6.1f} / {N_TRUE}    거짓양성 {fp_raw/REP:6.1f}")
print(f"  본페로니     진짜 찾음 {found_bonf/REP:6.1f} / {N_TRUE}    거짓양성 {fp_bonf/REP:6.1f}")
print()
print("본페로니는 거짓양성을 거의 0 으로 만든다.")
print("대신 진짜의 대부분도 함께 버린다. 이 맞바꿈이 15강의 물음이다.")

🤔 확인 문제

/til 은 12개 암종에서 각각 검정합니다. 아무 암종에서도 효과가 없다면, 적어도 하나가 p<0.05 로 나올 확률은?