8강 / 20강

귀무분포 — 아무 일도 없었다면 어땠을까

/viper 와 /diggit 이 실제로 만들어 쓰는 그것

어떤 점수를 계산했더니 3.7 이 나왔습니다. 큰 값인가요?

모릅니다. 무엇과 견줄지를 아직 안 정했으니까요.

통계의 답은 한결같습니다 — 아무 일도 없었다면 이 점수가 어떻게 나왔을지를 먼저 그려 두고, 실제 값을 거기에 얹습니다. 그 그림이 귀무분포입니다.

🌫️

귀무가설

"아무 일도 없다" 는 가정

📊

귀무분포

그 가정 아래에서 점수가 어떻게 흩어지는지

📍

관측값

실제로 나온 그 하나

고등학생아무 일도 없었다면 어땠을까

통계적 검정의 발상은 의외로 단순합니다. 그리고 거꾸로 갑니다.

"차이가 있다" 를 증명하는 대신
"아무 일도 없었다면 이런 일이 얼마나 드문가" 를 잰다

왜 거꾸로 가나

"차이가 있다" 는 경우의 수가 무한 합니다 — 1만큼 다를 수도, 5만큼 다를 수도 있죠.

그런데 "차이가 없다" 는 딱 하나입니다. 그래서 계산할 수 있어요.

부정하기 쉬운 쪽을 먼저 세워 놓고 무너뜨린다

비유 — 법정의 무죄 추정

재판에서 "무죄로 추정" 하고 시작하죠. 그리고 유죄의 증거를 봅니다.

법정	통계
무죄 추정	귀무가설 — 차이가 없다
증거를 모은다	자료를 본다
"무죄라면 이 증거가 나올 리 없다"	p 값이 작다
유죄 판결	귀무가설 기각

그리고 법정과 똑같은 한계가 있습니다

무죄 판결이 "결백함을 증명한" 것은 아니죠. "유죄를 증명하지 못했다" 는 뜻입니다.

p > 0.05 는 "차이가 없다" 가 아니라 "보이지 않았다"

7강에서 본 그 이야기가 여기서 다시 나옵니다.

고등학생이 사이트가 이미 이것을 쓰고 있습니다

note 가 /viper 와 /diggit 을 언급합니다. 실제 알고리즘이 이 방법을 쓴다는 거예요.

이름표 섞기 — 발상이 놀랍도록 단순합니다

귀무가설이 "이름표는 값과 아무 상관이 없다" 라면?

이름표를 어떻게 붙이든 똑같이 그럴듯한 세상이다

그러니 실제로 섞어 보면 됩니다. 수천 번요. 그러면 "아무 상관 없었다면" 의 세상이 수천 개 생깁니다.

비유 — 반 배정이 성적에 영향을 주나

1반 평균이 2반보다 5점 높습니다. 반 배정 때문일까요?

확인하는 법 — 학생들을 무작위로 다시 반에 배정해 봅니다. 그리고 평균 차이를 계산해요. 이걸 1,000번 합니다.

무작위 배정 1,000번 중	결론
5점 이상 차이가 거의 안 나온다	진짜 차이일 수 있다
5점 이상 차이가 자주 나온다	우연으로 충분

공식 없이 섞어 보는 것만으로 검정이 된다

이게 왜 좋은가

가정이 거의 없다 — 정규분포를 안 물어본다
어떤 통계량에도 쓸 수 있다 — 평균이든 중앙값이든 이상한 것이든
이해하기 쉽다 — 공식보다 훨씬

컴퓨터가 빨라져서 가능해진 방법입니다. 손으로 하던 시절에는 공식이 필요했어요. 지금은 섞으면 됩니다.

공식 없이 p 값을 만들었습니다. 12강의 순열검정이 바로 이것입니다.

Python 브라우저에서 실행

# 귀무분포를 손으로 만든다 - 이름표를 섞는 방법
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(31)

# 두 무리의 값. 진실: 두 무리는 같다
n = 30
group = np.array([0] * n + [1] * n)
value = rng.normal(100, 15, 2 * n)

def stat(g, v):
    return v[g == 1].mean() - v[g == 0].mean()

observed = stat(group, value)

# '아무 관계도 없다' = 이름표가 값과 상관없다
# 그러면 이름표를 섞어도 같은 세상이다
null = np.array([stat(rng.permutation(group), value) for _ in range(20000)])

fig, ax = plt.subplots()
ax.hist(null, bins=60)
ax.axvline(observed, color="crimson", lw=2)
ax.set_xlabel("difference in means")
plt.show()

more = (np.abs(null) >= abs(observed)).mean()
print(f"실제로 본 차이      {observed:+.3f}")
print(f"귀무분포의 폭       {null.std(ddof=1):.3f}")
print(f"이만큼 이상 벌어진 섞기의 비율  {more:.4f}")
print()
print("이 비율이 곧 p 값이다 (9강). 그리고 우리는 어떤 공식도 쓰지 않았다 -")
print("귀무분포를 직접 만들었을 뿐이다.")

고등학생공식 없이 p 값을 만들었습니다

코드가 공식을 하나도 안 쓰고 p 값을 만듭니다. 이것이 순열검정이고, 12강에서 제대로 다룹니다.

만드는 순서

실제 배열에서 차이를 계산한다 → 예: +2.4
이름표를 섞어 차이를 계산한다 → −0.3
이걸 20,000번 한다
그 20,000개 중에 +2.4 보다 극단적인 것이 몇 개인가?
그 비율이 p 값이다

p 값 = "우연으로도 이만큼 나오는 비율"

정의가 그대로 보입니다

공식으로 배우면 p 값이 어디서 나오는지 감이 안 옵니다. 이렇게 만들어 보면 정의 그 자체가 눈에 보여요.

9강에서 p 값의 정확한 정의를 배울 텐데, 지금 이 과정을 기억하고 있으면 훨씬 잘 들어옵니다.

몇 번 섞어야 하나

섞기 횟수	p 값의 최솟값	충분한가
100번	0.01	거칠다
1,000번	0.001	보통 이 정도
20,000번	0.00005	정밀하다

섞기 횟수가 p 값의 해상도를 정한다

1,000번 섞어서 0번 나왔다면 p < 0.001 이라고만 말할 수 있습니다. "p = 0" 이라고 하면 안 돼요 — 12강에서 그 이야기를 합니다.

귀무분포를 얻는 세 가지 길

방법	어떻게	쓰는 곳
수학	가정을 두고 식으로 유도한다 (t 분포·카이제곱 …)	빠르다. 가정이 맞아야 한다
섞기	이름표를 섞어 되풀이한다	`/viper`·`/diggit`·`/til` 18강
흉내	모형을 정해 자료를 지어낸다	복잡한 통계량 · 시뮬레이션

셋은 같은 것을 다른 값으로 얻는 방법입니다. 가정이 맞으면 답이 거의 같아요. 가정이 의심스러울 때 섞기로 갑니다 — 섞기는 자료의 모양을 묻지 않으니까요.

고등학생귀무가설은 '내가 믿는 것' 이 아닙니다

이 note 가 흔한 혼동을 잡아 줍니다.

귀무가설은 내 주장이 아니라 무너뜨릴 표적이다

헷갈리는 이유

연구자는 보통 "차이가 있다" 를 믿습니다. 그런데 검정에서는 "차이가 없다" 를 세워 놓죠.

이게 거짓말을 하는 것처럼 느껴집니다. 그렇지 않아요.

비유 — 게임의 규칙

축구에서 골대는 상대편에게 있습니다. 내가 지키려는 골대가 아니라 넣어야 할 골대죠.

귀무가설이 그 골대입니다. 무너뜨리려고 세워 둔 거예요.

세워 두지 않으면 겨눌 곳이 없다

그리고 이게 왜 공정한가

귀무가설은 "아무 일도 없다" 입니다. 가장 보수적인 가정이죠.

그것을 무너뜨려야 주장을 인정받으니, 증명의 부담이 주장하는 쪽에 있습니다.

주장하는 사람이 증명한다 — 과학의 기본 규칙

그래서 이런 말이 안 됩니다

틀린 말	왜
"차이가 없다는 걸 증명했다"	귀무가설은 증명 대상이 아니다. 무너뜨리거나 못 하거나뿐
"p=0.6 이니 두 군이 같다"	못 무너뜨린 것이지 같은 게 아니다

"같다" 를 보이려면 다른 방법이 필요합니다 (동등성 검정이라고 합니다). 그건 이 강의 범위 밖이지만, "안 다르다 ≠ 같다" 는 꼭 기억하세요.

🤔 확인 문제

귀무분포를 '이름표 섞기' 로 만드는 방법의 가장 큰 장점은?