15강 / 20강

scipy — t-검정을 한 줄로

논문 SI 「Wilcoxon rank-sum test or t-test were used」

논문의 통계 문단입니다.

Wilcoxon rank-sum test or t-test were used to evaluate differences between
groups for continuous variables.

둘 다 "두 군이 다른가" 를 묻습니다. 다만 전제가 다릅니다.

t-검정

값이 정규분포에 가깝다고 본다
평균을 견준다
전제가 맞으면 더 민감하다

Wilcoxon 순위합

분포를 가정하지 않는다
값을 순위로 바꿔 견준다
치우친 자료에 안전하다

발현량은 치우쳐 있으니(14강) 로그를 씌우거나 Wilcoxon 을 씁니다. 논문이 둘 다 적어 둔 이유예요.

고등학생두 가지 검정, 두 가지 전제

논문이 Wilcoxon rank-sum test or t-test 를 썼다고 적습니다. 둘 다 "두 군이 다른가" 를 묻는데, 전제가 다릅니다.

	t-검정	Wilcoxon 순위합
전제	값이 정규분포에 가깝다	가정 없음
무엇을 견주나	평균	순위
강점	전제가 맞으면 더 민감	치우친 자료에 안전

'순위로 바꾼다' 가 무슨 뜻인가

값 대신 등수를 씁니다. 12.4, 3.1, 99.8 을 2등, 1등, 3등 으로 바꾸는 거예요.

등수로 바꾸면 극단적인 값의 영향이 사라진다

비유 — 반 평균과 등수

반에 재벌 2세가 한 명 전학 왔습니다. 반 평균 재산이 갑자기 수백억이 돼요.

그런데 등수로 보면? 그 학생이 1등일 뿐, 나머지 등수는 그대로입니다. 한 사람이 전체를 뒤흔들지 못해요.

그래서 발현량에는 Wilcoxon 이 자주 쓰입니다

14강에서 봤듯 발현량은 치우쳐 있습니다. 소수가 아주 큰 값을 가져요. 그러면 —

t-검정 — 평균을 쓰니까 그 소수에 휘둘린다
Wilcoxon — 등수를 쓰니까 안 휘둘린다

그럼 왜 t-검정을 쓰나

전제가 맞으면 더 민감하기 때문입니다. 같은 자료에서 진짜 차이를 더 잘 잡아내요.

그래서 로그를 씌워 정규분포에 가깝게 만든 뒤 t-검정을 쓰기도 합니다. 논문이 둘 다 적어 둔 건 상황에 따라 골라 썼다는 뜻이에요.

p 값과 <b>효과 크기</b>를 함께 봅니다 — p 는 '있나' 를, d 는 '얼마나' 를 말합니다.

Python 브라우저에서 실행

import numpy as np
from scipy import stats
rng = np.random.default_rng(20250225)

# 두 군의 DDX54 발현 (연습용 값)
desert   = rng.normal(12.5, 3.0, 14)
inflamed = rng.normal( 8.0, 2.6, 16)

print(f"desert   n={len(desert):<3} 평균 {desert.mean():6.2f}  중앙값 {np.median(desert):6.2f}")
print(f"inflamed n={len(inflamed):<3} 평균 {inflamed.mean():6.2f}  중앙값 {np.median(inflamed):6.2f}")
print()

t, p_t = stats.ttest_ind(desert, inflamed)
u, p_u = stats.mannwhitneyu(desert, inflamed)      # Wilcoxon 순위합과 같은 검정

print(f"t-검정          t = {t:6.3f}   p = {p_t:.4g}")
print(f"Wilcoxon 순위합 U = {u:6.1f}   p = {p_u:.4g}")
print()

# 효과 크기도 함께 봐야 한다 — p 만으로는 '얼마나' 를 모른다
합친분산 = ((len(desert)-1)*desert.var(ddof=1) + (len(inflamed)-1)*inflamed.var(ddof=1)) \
           / (len(desert)+len(inflamed)-2)
d = (desert.mean() - inflamed.mean()) / np.sqrt(합친분산)
print(f"코헨의 d = {d:.2f}  ({'큼' if abs(d)>0.8 else '중간' if abs(d)>0.5 else '작음'})")

고등학생p 값만 보면 안 되는 이유

코드가 p 값과 함께 코헨의 d 를 찍습니다. 왜 둘 다 필요할까요?

p 는 "있나" 를 · d 는 "얼마나" 를 말한다

p 값이 뜻하는 것

"진짜로 차이가 없는데 우연히 이만큼 차이가 날 확률" 입니다.

p = 0.03 이면 "우연이라기엔 좀 드문 일" 이라는 뜻이에요. 차이가 크다는 뜻이 아닙니다.

여기가 핵심입니다

표본이 아주 많으면 아주 작은 차이도 p 가 작아진다

표본 수	차이	p 값	실제로
20명	큰 차이	0.03	의미 있다
100만 명	아주 작은 차이	0.0001	의미 없을 수 있다

비유 — 키 차이

A반과 B반의 평균 키가 0.1cm 다릅니다. 학생이 100만 명이면 p 값은 아주 작게 나옵니다.

"통계적으로 유의한 차이" 라고 말할 수 있어요. 그런데 0.1cm 가 무슨 의미가 있나요? 없습니다.

통계적으로 유의하다 ≠ 실제로 중요하다

그래서 효과 크기를 함께 봅니다

코헨의 d 는 "차이가 흩어짐의 몇 배인가" 를 잽니다.

d	해석
0.2	작다
0.5	중간
0.8 이상	크다

표본 수와 상관없이 크기를 말해 줍니다. 그래서 p 와 짝으로 봐야 해요.

논문에서 p 만 있고 효과 크기가 없으면 의심하라

2만 번 검정하면 — 다중검정

유전자 2만 개를 각각 검정하면 어떻게 될까요? 진짜 차이가 하나도 없어도 p < 0.05 가 약 1,000개 나옵니다.

20,000 × 0.05 = 1,000

그래서 보정합니다. 유전체에서 표준은 FDR(거짓발견율) — Benjamini-Hochberg 법이에요.

논문도 GSEA 에서 Adjusted p-values were calculated ... to correct for multiple testing 라고 적었습니다.

고등학생2만 번 검정하면 1,000개가 우연히 나옵니다

이 md 셀이 이 강의에서 가장 중요한 이야기일지도 모릅니다.

진짜 차이가 하나도 없어도
p < 0.05 가 약 1,000개 나온다

계산은 단순합니다

20,000 × 0.05 = 1,000

p < 0.05 라는 건 "우연히 이럴 확률이 5%" 라는 뜻이죠. 2만 번 하면 5% 는 어차피 나옵니다.

비유 — 동전 던지기 대회

동전을 5번 던져 전부 앞면이 나올 확률은 약 3% 입니다. 드물죠.

그런데 1,000명이 동시에 하면? 30명쯤이 전부 앞면을 냅니다.

그 30명이 특별한 능력이 있나요? 없습니다. 사람이 많아서 나온 겁니다.

많이 시도하면 드문 일이 반드시 일어난다

유전자 2만 개가 정확히 그 상황입니다

유전자 하나하나가 동전을 던지는 사람이에요. 2만 명이 던지면 1,000명은 우연히 대박이 납니다.

그중에서 "이 유전자가 중요하다!" 를 고르면? 완전히 헛다리입니다.

해결 — FDR 보정

거짓발견율(False Discovery Rate) 을 조절합니다. Benjamini-Hochberg 라는 방법이 표준이에요.

"유의하다고 한 것 중 몇 %가 가짜인가" 를 관리한다

보정한 값을 q 값(또는 adjusted p) 이라고 부릅니다. 논문도 Adjusted p-values were calculated 라고 적었죠.

코드가 보여 주는 결과

진짜 차이가 하나도 없는 자료로 —

보정 전 p < 0.05 → 1,000개쯤 (전부 가짜)
보정 후 q < 0.05 → 거의 0개 ✔

보정이 제대로 작동한다는 걸 눈으로 확인하는 겁니다. 아주 좋은 검증 방법이에요 — 답을 아는 자료로 방법을 시험하는 것.

돌리는 데 몇 초 걸립니다. 보정 전후의 차이를 보세요.

Python 브라우저에서 실행

import numpy as np
from scipy import stats
rng = np.random.default_rng(7)

# 진짜 차이가 '하나도 없는' 유전자 2만 개를 검정해 본다
n유전자 = 20000
p들 = np.array([stats.ttest_ind(rng.normal(0,1,10), rng.normal(0,1,10)).pvalue
                for _ in range(n유전자)])

print(f"진짜 차이는 하나도 없습니다. 그런데:")
print(f"  p < 0.05 인 유전자 : {(p들 < 0.05).sum():,}개  ({(p들<0.05).mean():.1%})")
print(f"  p < 0.01 인 유전자 : {(p들 < 0.01).sum():,}개")
print()

# Benjamini-Hochberg 로 FDR 보정
순서 = np.argsort(p들)
정렬p = p들[순서]
순위 = np.arange(1, n유전자 + 1)
q = 정렬p * n유전자 / 순위
q = np.minimum.accumulate(q[::-1])[::-1]          # 단조롭게 만든다
q = np.clip(q, 0, 1)

print(f"  FDR 보정 뒤 q < 0.05 : {(q < 0.05).sum():,}개")
print()
print("보정 전에는 1,000개쯤이 '유의' 하게 나왔지만, 전부 거짓이었습니다.")
print("논문의 961개는 이런 보정을 거친 뒤의 수입니다.")

고등학생논문의 961개는 보정을 거친 수입니다

코드 마지막 줄이 중요한 말을 합니다.

논문의 961개는 이런 보정을 거친 뒤의 수다

보정을 안 했다면

훨씬 많은 유전자가 "유의" 하게 나왔을 겁니다. 그리고 그중 상당수가 가짜였겠죠.

그 목록으로 후속 실험을 하면? 시간과 돈을 날립니다. 실험 하나에 몇 달과 수백만 원이 드는데요.

보정은 겸손이 아니라 절약이다

그런데 보정에도 대가가 있습니다

보정하면 진짜도 일부 놓칩니다. 문턱이 엄격해지니까요.

	보정 안 하면	보정하면
가짜	많다	적다
진짜를 놓침	적다	는다

또 나왔죠 — 공짜 점심은 없습니다. /immunology 1강부터 이 강의 6강까지, 계속 같은 구조입니다.

그래서 FDR 을 쓰는 겁니다

더 엄격한 보정도 있습니다 (Bonferroni). 그런데 유전체에서는 너무 엄격해서 아무것도 안 남아요.

FDR 은 중간을 택합니다 — "가짜가 5% 섞이는 건 감수하고, 대신 진짜를 많이 건지자".

완벽을 포기하고 관리 가능한 오류를 택한다

여러분이 기억할 것

많이 검정하면 반드시 보정해야 합니다. 그리고 논문을 읽을 때 —

"p 값" 이라고만 적혀 있으면 보정했는지 확인하라

보정 안 한 p 값으로 수천 개를 골라 놓고 "유의한 유전자" 라고 부르는 논문이 지금도 나옵니다.

🤔 확인 문제

유전자 2만 개를 각각 p<0.05 로 검정하면, 진짜 차이가 없어도 몇 개쯤 '유의'하게 나올까요?