9강 / 20강

p 값 — 무엇을 말하고 무엇을 말하지 않나

/mirna 가 돌린 347개의 검정으로

8강에서 만든 그 비율이 p 값입니다. 정의를 정확히 적으면 이렇습니다.

p = 귀무가설이 참일 때, 이만큼 또는 더 극단적인 결과가 나올 확률

이 문장에서 조건이 어디에 붙어 있는지를 보세요. "귀무가설이 참일 때" 가 앞에 있습니다. p 값은 귀무가설을 가정하고 계산한 값이에요.

그래서 p 값은 귀무가설이 참일 확률이 아닙니다. 조건이 반대로 붙어 있거든요.

고등학생정의를 정확히 외우세요

p 값의 정의는 한 문장인데 모든 낱말이 중요합니다.

p 값 = 귀무가설이 참일 때
관측값 이상으로 극단적인 결과가 나올 확률

낱말을 하나씩

낱말	왜 중요한가
귀무가설이 참일 때	조건이다. 이걸 빼면 완전히 다른 말이 된다
이상으로 극단적인	딱 그 값이 아니라 더 극단적인 것까지 포함
확률	2강의 그 확률 — 되풀이의 비율

첫 줄이 가장 중요합니다

p 값은 "차이가 없다고 치고" 계산한 값이다

그러니 "차이가 없을 확률" 이 아닙니다. 차이가 없다는 걸 이미 가정하고 계산했으니까요.

비유 — 조건을 뒤집으면

2강에서 본 것을 다시 —

P(이 증거 | 무죄) — p 값이 이것
P(무죄 | 이 증거) — 우리가 알고 싶은 것

두 번째를 알려면 사전 확률이 필요합니다 (학교에서 배운 베이즈 정리요). p 값에는 그게 없어요.

p 값은 우리가 알고 싶은 것을 답하지 않는다

그런데도 쓰는 이유는 계산할 수 있기 때문입니다. 알고 싶은 것은 계산이 어렵거든요. 타협인 셈이에요.

고등학생p 값이 말하지 않는 것 넷

note 의 목록이 이 강의에서 가장 자주 인용될 부분입니다. 하나씩 풀어 봅시다.

① 귀무가설이 참일 확률이 아니다

앞 셀에서 본 조건 뒤집기 문제입니다. p=0.03 이라고 "차이가 없을 확률 3%" 가 아니에요.

② 효과의 크기가 아니다

p 가 작다 ≠ 차이가 크다

사람을 많이 모으면 아주 작은 차이도 p 가 작아집니다. 그래서 효과 크기와 신뢰구간을 함께 봐야 해요(7강).

③ 결과가 재현될 확률이 아니다

p=0.03 이라고 "97% 확률로 다시 나온다" 가 아닙니다. 실제로 재현 확률은 훨씬 낮아요 — 검정력에 달렸습니다(10강).

④ 실용적 중요성이 아니다

통계적으로 유의해도 임상에서 의미 없을 수 있습니다. 6일 더 사는 항암제처럼요(7강).

넷 다 "p 값이 답하지 않는 것을 답한다고 여기는" 실수다

그럼 p 값은 뭘 말하나

딱 하나입니다.

"우연으로 설명하기에 얼마나 드문가"

그것뿐이에요. 적어 보이지만 유용합니다 — 우연으로 설명되는 것을 걸러 낼 수 있으니까요.

다만 걸러 낸 뒤에 무엇이 남는지는 p 값이 말해 주지 않습니다. 그건 사람이 판단할 몫이에요.

귀무가설이 참이면 p 값은 <b>0에서 1 사이에 고르게</b> 흩어집니다. 이 사실이 14·15강의 바탕입니다.

Python 브라우저에서 실행

# 귀무가설이 참이면 p 값은 어떻게 흩어지나
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
rng = np.random.default_rng(41)

REP, N = 8000, 30
ps = []
for _ in range(REP):
    a = rng.normal(0, 1, N)
    b = rng.normal(0, 1, N)       # 진실: 두 무리는 같다
    ps.append(stats.ttest_ind(a, b).pvalue)
ps = np.array(ps)

fig, ax = plt.subplots()
ax.hist(ps, bins=20, range=(0, 1))
ax.set_xlabel("p value (null is true)")
plt.show()

print("귀무가설이 참일 때 p 값의 분포는 - 평평하다(균등분포).")
for lo in [0.0, 0.2, 0.4, 0.6, 0.8]:
    frac = ((ps >= lo) & (ps < lo + 0.2)).mean()
    print(f"  p 가 {lo:.1f} ~ {lo+0.2:.1f} 사이일 비율  {frac:.3f}")
print()
print(f"p < 0.05 인 비율 {(ps<0.05).mean():.4f}  <- 이것이 알파의 정의다")
print()
print("평평하다는 것이 요점이다. 효과가 없으면 p=0.03 도 p=0.83 만큼 자주 나온다.")

고등학생귀무가설이 참이면 p 값은 고르게 흩어집니다

캡션이 말하는 이 사실이 14 · 15강의 바탕입니다. 이해해 두면 다중검정이 훨씬 쉬워져요.

차이가 정말 없으면 p 값은 0~1 에 고르게 흩어진다

무슨 뜻인가

p 값 구간	몇 %가 여기 들어가나
0.0 ~ 0.05	5%
0.05 ~ 0.10	5%
0.90 ~ 0.95	5%

어느 구간이든 똑같이 5% 입니다. 평평한 분포예요.

그래서 이런 결론이 나옵니다

아무 일이 없어도 20번에 한 번은 p < 0.05 가 나온다

이게 0.05 라는 문턱의 뜻입니다. "우리는 20번에 한 번 틀리는 걸 감수한다" 는 약속이에요.

그럼 347번 하면?

347 × 0.05 ≈ 17개가 저절로 걸립니다. 14강이 바로 그 이야기예요.

거꾸로 쓸 수도 있습니다

p 값을 많이 계산한 뒤 히스토그램을 그려 보세요.

히스토그램 모양	읽기
평평하다	진짜 신호가 거의 없다
왼쪽(0 근처)이 솟았다	진짜 신호가 섞여 있다
오른쪽이 솟았다	뭔가 이상하다 — 계산을 의심하라

p 값 히스토그램은 분석 전체를 점검하는 도구다

다음 위젯이 /mirna 의 실제 347개 p 값 히스토그램입니다. 어느 모양인지 직접 보세요.

실제 자료의 p 값 히스토그램 — /mirna 의 347개

/mirna 강의가 CPM 10 이상인 miRNA 347개를 두 조건에서 검정해 두었습니다. 그 347개의 p 값을 히스토그램으로 그리면 이렇습니다.

첫 칸 (p < 0.05)  ████████████████████████████  103개
둘째 칸           ███████████  43개
셋째 칸           ████  17개
그 뒤로           대체로 10~16개씩 평평하게

모양이 평평한 바닥 + 왼쪽 끝의 봉우리 입니다. 방금 코드에서 본 '전부 평평' 과 다르죠.

평평한 바닥

아무 일도 없는 miRNA 들. 이들의 p 는 균등분포다

왼쪽 봉우리

진짜로 달라진 miRNA 들. 이들이 p 를 0 쪽으로 민다

이 그림 하나로 진짜가 얼마나 섞여 있는지를 짐작할 수 있습니다. 바닥 높이가 대략 15개니까 347칸 전체에 깔린 '우연' 이 대략 15×20 = 300개, 남는 것이 진짜에 가까운 몫입니다. 15강의 FDR 이 정확히 이 셈을 합니다.

고등학생0.05 는 어디서 왔나

왜 하필 0.05 일까요? 궁금하지 않았나요?

특별한 근거가 없다

역사

1920년대에 통계학자 피셔가 "20번에 한 번쯤이면 편리하다" 고 쓴 것이 굳어졌습니다.

피셔 자신도 고정된 기준으로 쓰라고 한 게 아니었어요. 상황에 따라 판단하라는 쪽이었습니다.

관습이지 자연법칙이 아니다

분야마다 다릅니다

분야	기준	왜
일반 생물학·의학	0.05	관습
유전체 연관연구(GWAS)	5 × 10⁻⁸	100만 번 검정하니까 (14강)
입자물리학	3 × 10⁻⁷ (5σ)	발견을 선언하는 일이라 아주 엄격

문턱을 낮추자는 논쟁도 있습니다

2018년에 유명한 학자 72명이 "0.05 대신 0.005 를 쓰자" 는 제안을 냈습니다. 재현 위기 때문이었어요.

반론도 만만치 않습니다 — "문턱을 낮추면 진짜 발견도 놓친다"(10강의 2종 오류).

어디에 두든 한쪽 실수가 늘어난다 — 또 나온 그 구조

그래서 요즘 권장되는 태도

p 값을 문턱 통과 여부로 쓰지 말고 연속적인 증거로 읽기
신뢰구간과 효과 크기를 함께 보고하기
"유의하다" 라는 말 대신 실제 값을 적기

p=0.049 와 p=0.051 은 거의 같은 증거인데, 문턱으로 자르면 완전히 다른 대접을 받죠. 그게 이상한 겁니다.

🤔 확인 문제

p = 0.03 이 나왔습니다. 옳은 해석은?