8강 / 20강

347 번 검정하면 무슨 일이 생기나

p < 0.05 가 103 개인데 우연 기댓값은 17 개 · BH 로 q값 만들기

p < 0.05 라는 문턱은 검정을 한 번 할 때의 약속입니다. "아무 일도 없는데 이만한 차이가 나올 확률이 5% 이하" 라는 뜻이죠.

그런데 우리는 5강에서 miRNA 347 종을 한꺼번에 검정했습니다. 아무 일도 없었다 해도 347 × 0.05 ≈ 17 개는 저절로 p < 0.05 가 됩니다.

고등학생347 번 검정하면

miRNA 347 종을 검정했다. p < 0.05 인 것이 103개 나왔다. 많아 보인다. 그런데 우연히도 몇 개가 나올까?

기댓값 = 347 × 0.05 ≈ 17개

	개수
관찰된 유의	103
우연 기댓값	17
차이	86

103개 중 약 17개는 가짜 일 것으로 예상된다. 나머지 86개쯤이 진짜 신호일 가능성이 높다.

유의한 것의 개수만으로는 판단할 수 없다 — 기댓값과 견줘야 한다

먼저 규모를 봅니다. 103 개 중 17 개쯤은 그냥 우연입니다 — 어느 17 개인지 모를 뿐.

Python 브라우저에서 실행

import mi, numpy as np

d = mi.dmi()
d = d[(d.baseCPM >= 10) & d.p.notna()]

n = len(d)
hit = (d.p < .05).sum()
print(f"검정한 miRNA        : {n}")
print(f"p < 0.05 인 miRNA   : {hit}")
print(f"우연히 기대되는 수  : {n * .05:.1f}")
print(f"→ 우연으로는 설명 안 되는 몫 : 약 {hit - n * .05:.0f} 개")

p값의 히스토그램이 알려 주는 것

아무 일도 없다면 p값은 0과 1 사이에 고르게 퍼집니다. 실제 신호가 섞여 있으면 0 근처에 봉우리가 생깁니다. 그림 한 장으로 "신호가 있긴 있나" 를 볼 수 있습니다.

고등학생p 값의 정의를 다시 보면

p < 0.05 는 "차이가 없을 때 이만큼의 차이가 나올 확률이 5% 미만" 이다.

그러니 100번 검정하면

차이가 하나도 없어도 평균 5개 는 p < 0.05 가 나온다. 이것은 오류가 아니라 p 값의 정의상 당연한 것이다.

검정 수	우연히 유의한 것의 기댓값
20	1
347	17
20,000	1,000

유전체 규모에서 심각해진다

유전자 2만 개를 검정하면 1,000개가 가짜로 유의하다. 그것을 발견이라고 보고하면 논문 전체가 무의미하다.

많이 물어보면 우연히 맞는 답이 많이 나온다 — 정의상 그렇다

왼쪽 끝이 기준선보다 얼마나 높은가 — 그 초과분이 진짜 신호의 크기입니다.

Python 브라우저에서 실행

import mi, numpy as np
import matplotlib.pyplot as plt

d = mi.dmi(); d = d[(d.baseCPM >= 10) & d.p.notna()]

fig, ax = plt.subplots(figsize=(7.2, 4))
ax.hist(d.p, bins=20, range=(0, 1), color="#4c6ef5", edgecolor="white")
ax.axhline(len(d) / 20, ls="--", c="#e8590c", lw=1.4,
           label=f"아무 일도 없을 때의 높이 ({len(d) / 20:.1f})")
ax.set_xlabel("p"); ax.set_ylabel("miRNA 수"); ax.legend()
ax.set_title("p값 분포 — 왼쪽 끝의 봉우리가 신호다")
plt.tight_layout()

left = (d.p < .05).sum()
flat = len(d) / 20
print(f"맨 왼쪽 칸(p<0.05) : {left} 개, 평평했다면 {flat:.0f} 개")
print(f"→ 초과분 {left - flat:.0f} 개가 진짜 신호의 몫입니다.")

BH 는 세 줄이면 짭니다. 정렬 → 순위로 나누기 → 뒤에서부터 누적 최솟값.

Python 브라우저에서 실행

import mi, numpy as np

d = mi.dmi(); d = d[(d.baseCPM >= 10) & d.p.notna()].sort_values("p")
n = len(d)

# BH 를 손으로 짜 봅니다 — 정렬하고, 순위로 나누고, 뒤에서부터 최솟값을 끌고 온다.
q = d.p.values * n / np.arange(1, n + 1)
q = np.minimum.accumulate(q[::-1])[::-1]
d["q_직접"] = np.minimum(q, 1)

print(f"p < 0.05 : {(d.p < .05).sum():>4} 개")
print(f"q < 0.05 : {(d['q_직접'] < .05).sum():>4} 개   ← 이 목록의 5% 만 가짜")
print(f"q < 0.10 : {(d['q_직접'] < .10).sum():>4} 개")
print()
print("── q < 0.05 를 통과한 miRNA 22 종 ──")
print(d[d["q_직접"] < .05][["logFC", "p", "q_직접"]].round(4))
print()
print("── miR-34 계열 여섯의 성적표 ──")
fam = [x for x in mi.dmi().index if x in
       ["mmu-miR-34a-5p", "mmu-miR-34b-5p", "mmu-miR-34c-5p",
        "mmu-miR-449a-5p", "mmu-miR-449b", "mmu-miR-449c-5p"]]
print(mi.dmi().loc[fam][["logFC", "p", "baseCPM", "q"]].round(4))

고등학생BH 방법으로 q 값 만들기

벤저미니-호흐베르크(BH) 방법이 표준이다.

단계	하는 일
1	p 값을 작은 순서로 정렬
2	i 번째 p 값에 n/i 를 곱함
3	단조 증가하도록 조정
4	그 값이 q 값 (조정된 p)

q 값의 뜻

"q < 0.05 인 것들 중 평균 5% 가 가짜다."

p 값과 뜻이 다르다. p 값은 개별 검정 에 대한 것이고, q 값은 고른 집합 전체 에 대한 것이다.

본페로니와의 차이

	본페로니	BH
통제하는 것	가짜가 하나라도 나올 확률	가짜의 비율
엄격함	매우 엄격	적당
탐색 연구에	너무 보수적	적합

완벽하게 가짜를 막을 것인가, 가짜의 비율만 통제할 것인가 — 목적이 정한다

103 개가 22 개로

p < 0.05 로 103 개였던 목록이 q < 0.05 에서 22 개로 줄었습니다. miR-34b-5p 는 q = 0.010, miR-34c-5p 는 q = 0.046 으로 둘 다 살아남았습니다. 5강에서 본 신호가 다중검정을 견뎌 낸 것입니다.

그런데 같은 계열의 나머지 넷 — miR-34a-5p · miR-449a · miR-449b · miR-449c-5p — 은 문턱 근처에도 못 갑니다. 발현량이 CPM 1~33 로 너무 낮기 때문입니다(4강). 심지어 449c-5p 는 방향이 반대입니다.

같은 씨앗을 가진 여섯 miRNA 가 따로따로 검정을 받으면 둘만 통과하고 넷은 흩어집니다. 그러나 세포 입장에서 이 여섯은 같은 표적을 누르는 한 팀입니다.

그래서 10강에서 계열을 배우고, 14강부터는 검정 단위를 miRNA 하나가 아니라 표적 집합으로 옮기게 됩니다. 그때 힘을 갖는 것은 배수변화가 아니라 발현량으로 가중한 계열 전체의 변화입니다.

🎮 다중검정 실험실

문턱을 옮기면서 목록의 크기와 예상 가짜 개수가 어떻게 변하는지 보세요.

고등학생다중검정을 줄이는 더 좋은 방법

보정보다 애초에 검정 수를 줄이는 것이 낫다.

방법	내용
발현 필터링	4강 — 낮은 발현 제외
가설 기반 선별	미리 후보를 좁힘
집합 수준 검정	유전자 하나가 아니라 묶음으로 (14강)
독립 필터링	결과와 무관한 기준으로 미리 거름

세 번째가 이 강의의 핵심 전략이다

14강에서 표적 452개를 통째로 검정한다. 유전자 하나씩 검정하면 452번인데, 집합 하나로 검정하면 한 번 이다.

검정력이 크게 올라간다. 개별로는 못 잡을 작은 효과도 여럿이 같은 방향이면 잡을 수 있다.

작은 효과를 여럿 모아 하나의 큰 검정으로 만드는 것 — 집합 분석의 힘

🤔 확인 문제

347 종을 검정했을 때 p < 0.05 인 miRNA 가 103 개 나왔습니다. 이때 옳은 해석은?

🤔 확인 문제

Benjamini-Hochberg 의 q값이 뜻하는 것은?

🤔 확인 문제

BH 보정을 1,976 종 전체가 아니라 문턱을 통과한 347 종에만 적용해야 하는 이유는?