15강 / 20강

FDR — 몇 개가 틀려도 괜찮다고 정하는 것

/mirna 의 347개 · q<0.05 로 22개, q<0.10 으로 49개

본페로니는 "거짓양성이 하나라도 있으면 안 된다" 를 지킵니다. 2만 개 유전자를 훑는 탐색 연구에서 이건 지나칩니다.

물음을 바꿉니다. "내가 고른 것들 중 몇 %가 가짜여도 괜찮은가."

FWER (본페로니)

거짓양성이 하나라도 나올 확률을 0.05 로
→ 확증 연구 · 규제 · 3상의 1차 평가변수

FDR (벤자미니-호크버그)

고른 것들 중에서 가짜의 비율을 0.05 로
→ 탐색 연구 · 유전체 · 다음 실험 후보 고르기

100개를 골랐는데 FDR 0.05 라면 그중 다섯 개쯤은 가짜라는 뜻입니다. 그걸 알고 받아들이는 거예요 — 다음 실험에서 걸러질 테니까요.

고등학생몇 개가 틀려도 괜찮다고 정하는 것

본페로니는 "거짓양성이 하나라도 있으면 안 된다" 를 지킵니다. 2만 개를 훑는 탐색 연구에서 이건 지나쳐요.

물음을 바꾼다 — "내가 고른 것들 중 몇 %가 가짜여도 괜찮은가"

두 물음의 차이

	FWER (본페로니)	FDR
묻는 것	거짓양성이 하나라도 나올 확률	고른 것 중에서 가짜의 비율
비유	"불량품이 하나도 없어야"	"불량률 5% 이하면 됨"

100개를 골랐는데 FDR 0.05 = 그중 다섯 개쯤은 가짜

그걸 알고 받아들이는 겁니다

왜 괜찮을까요? 다음 실험에서 걸러질 테니까요.

탐색 연구의 목적은 후보를 좁히는 것입니다. 2만 개에서 50개로 줄이면 성공이에요. 그 50개 중 몇 개가 가짜여도 실험해 보면 드러납니다.

비유 — 서류 전형과 면접

단계	목표	실수의 대가
서류 전형 (탐색)	1,000명 → 50명	가짜가 섞여도 면접에서 걸러진다
최종 합격 (확증)	50명 → 5명	가짜를 뽑으면 돌이키기 어렵다

서류 전형에서 완벽을 요구하면 아무도 못 뽑습니다. 그리고 진짜 인재도 떨어뜨리죠.

단계마다 다른 엄격함이 필요하다

실제 FDR 이 약속한 q 근처에 머무는 것을 확인하세요. 그게 이 절차가 하는 일입니다.

Python 브라우저에서 실행

# 벤자미니-호크버그 절차를 손으로
import numpy as np
rng = np.random.default_rng(111)

# 347개 중 40개가 진짜
K, N_TRUE, n = 347, 40, 20
from scipy import stats
ps, truth = [], []
for i in range(K):
    shift = 0.8 if i < N_TRUE else 0.0
    a = rng.normal(shift, 1, n); b = rng.normal(0, 1, n)
    ps.append(stats.ttest_ind(a, b).pvalue); truth.append(i < N_TRUE)
ps, truth = np.array(ps), np.array(truth)

def bh(ps, q):
    k = len(ps)
    order = np.argsort(ps)
    sorted_p = ps[order]
    # i 번째(1부터) p 가 i/k*q 보다 작은 가장 큰 i 를 찾는다
    below = sorted_p <= (np.arange(1, k + 1) / k) * q
    if not below.any(): return np.zeros(k, dtype=bool)
    cut = np.max(np.where(below)[0])
    keep = np.zeros(k, dtype=bool)
    keep[order[: cut + 1]] = True
    return keep

print(f"{K}개 검정 · 진짜 {N_TRUE}개")
print()
print("  방법              고른 수   그중 가짜   실제 FDR   진짜를 몇 개 찾았나")
raw = ps < 0.05
print(f"  보정 없음         {raw.sum():6d}   {(raw & ~truth).sum():8d}   "
      f"{(raw & ~truth).sum()/max(raw.sum(),1):8.3f}   {(raw & truth).sum():6d}")
bon = ps < 0.05 / K
print(f"  본페로니          {bon.sum():6d}   {(bon & ~truth).sum():8d}   "
      f"{(bon & ~truth).sum()/max(bon.sum(),1):8.3f}   {(bon & truth).sum():6d}")
for q in [0.05, 0.10, 0.20]:
    k2 = bh(ps, q)
    print(f"  BH  q<{q:.2f}        {k2.sum():6d}   {(k2 & ~truth).sum():8d}   "
          f"{(k2 & ~truth).sum()/max(k2.sum(),1):8.3f}   {(k2 & truth).sum():6d}")
print()
print("BH 는 약속한 q 근처에서 실제 FDR 을 지키면서")
print("본페로니보다 훨씬 많은 진짜를 건진다.")

고등학생실제 FDR 이 약속을 지키는지 확인합니다

캡션이 "실제 FDR 이 약속한 q 근처에 머무는 것을 확인하세요" 라고 합니다. 12강의 그 검증 방식이에요.

방법이 약속한 대로 동작하는지 먼저 확인한다

어떻게 확인하나

답을 아는 자료를 만듭니다 — 진짜 신호가 몇 개인지 아는 자료요.

진짜 신호 100개 + 가짜 19,900개를 섞어 둔다
FDR 0.05 로 골라 본다
고른 것 중 실제로 가짜가 몇 %인지 센다
5% 근처면 절차가 제대로 작동하는 것

이게 왜 중요한가

통계 절차는 "이렇게 하면 이런 성질이 보장된다" 는 약속입니다. 그런데 가정이 깨지면 약속도 깨져요.

BH 절차의 가정	깨지면
검정들이 독립이거나 특정 상관 구조	FDR 이 약속보다 커질 수 있다

유전자들은 서로 상관이 있습니다 — 같은 경로의 유전자들은 함께 움직이죠. 그래서 완전히 독립은 아니에요.

다행히 BH 는 웬만한 상관에는 잘 버팁니다

그래도 확인하는 습관

새로운 방법을 쓸 때 답을 아는 자료로 먼저 시험하는 것 — 이 강의가 계속 보여 주는 태도입니다.

9강(p 값 평평한지), 12강(순열 vs t), 13강(붓스트랩 vs 공식), 15강(FDR 이 약속을 지키는지). 네 번 나왔어요.

/mirna 의 347개에서 실제로 나온 수

기준	고른 miRNA 수	뜻
p < 0.05 (보정 없음)	103	이 중 17개쯤은 우연
본페로니 (p < 0.000144)	훨씬 적다	가짜는 거의 없지만 진짜도 많이 버린다
q < 0.05	22	이 22개 중 한 개쯤이 가짜
q < 0.10	49	이 49개 중 다섯 개쯤이 가짜

q 를 0.05 에서 0.10 으로 늦추면 22개가 49개가 됩니다 — 두 배가 넘게요. 대신 가짜가 1개에서 5개로 늡니다.

어느 쪽이 옳을까요. 다음에 무엇을 할지에 달렸습니다. 49개를 다 실험할 수 있으면 0.10 이 낫고, 두세 개만 실험할 수 있으면 0.05 로 좁히는 게 낫습니다. 통계가 정해 주지 않아요.

고등학생q 를 0.05 에서 0.10 으로 늦추면

본문 표가 실제 선택의 결과를 보여 줍니다.

기준	고른 수	그중 가짜
p < 0.05 (보정 없음)	103	17개쯤
본페로니	훨씬 적다	거의 없다
q < 0.05	22	1개쯤
q < 0.10	49	5개쯤

q 를 0.05 → 0.10 으로 늦추면 22개가 49개 (두 배 넘게)

어느 쪽이 옳은가

본문의 답이 정직합니다 —

통계가 정해 주지 않는다. 다음에 무엇을 할지에 달렸다

상황	고를 것
49개를 다 실험할 수 있다	q < 0.10 이 낫다
두세 개만 실험할 수 있다	q < 0.05 로 좁힌다

비유 — 낚시 그물의 코

그물코를 촘촘하게 하면 작은 물고기도 잡히는데 쓰레기도 같이 딸려 옵니다.

그물코를 성기게 하면 깨끗한데 작은 물고기를 놓쳐요.

어느 쪽이 좋을까요? 배가 얼마나 큰지에 달렸습니다 — 잡은 걸 다 처리할 수 있는지요.

통계는 선택지를 보여 주고, 고르는 것은 사람이다

이게 이 강의의 큰 주제입니다

통계가 답을 정해 주는 기계라고 생각하기 쉽습니다. 아니에요. 맞바꿈을 계산해 주는 도구입니다.

어느 쪽 실수를 감수할지는 목적이 정합니다. 20강에서 이 이야기로 끝맺어요.

고등학생q 값은 '이 유전자가 가짜일 확률' 이 아닙니다

이 note 가 7강의 신뢰구간과 같은 종류의 조심스러움을 요구합니다.

흔한 해석	맞나
"이 유전자가 가짜일 확률 5%"	✘ 틀림
"q≤0.05 인 것들을 전부 골랐을 때, 그 무리 안에서 가짜 비율이 5% 이하"	✔ 맞음

q 값은 낱개가 아니라 무리에 붙는 성질이다

2강에서 본 그 이야기입니다

확률은 낱개가 아니라 무리에 붙는 말이라고 했죠. 이 강의에서 세 번째로 나오는 구조입니다.

강	무엇에	낱개로 읽으면
2강	확률	"이번에 비 올 확률" ✘
7강	신뢰구간	"이 구간에 참값이 있을 확률" ✘
15강	q 값	"이 유전자가 가짜일 확률" ✘

세 번 다 "무리의 성질을 낱개에 붙이는" 실수다

비유 — 반 평균과 개인

"우리 반 평균 80점" 이라고 해서 철수가 80점인 건 아니죠.

평균은 반의 성질이고, 철수의 점수는 철수의 성질입니다. 섞으면 안 돼요.

그럼 낱개에 대해서는 뭘 말할 수 있나

솔직히 별로 없습니다.

"이 유전자가 진짜일 확률" 을 계산하려면 사전 확률이 필요합니다(2강의 베이즈 이야기). 그건 다른 종류의 통계(베이즈 통계)의 일이에요.

알고 싶은 것과 계산할 수 있는 것이 다시 어긋난다

9강에서 p 값에 대해 본 그 문제입니다. 통계를 배울수록 이 어긋남을 자주 만나게 돼요.

🤔 확인 문제

탐색 연구에서 2만 개 유전자를 검정했습니다. 다음 단계로 실험할 후보를 고르려 합니다. 알맞은 것은?