12강 / 20강

순열검정 — p 값을 손으로 만든다

/til 18강이 하는 그 일 · 공식 없이 검정하기

8강에서 이미 해 봤습니다. 여기서는 왜 그게 정당한지를 봅니다.

귀무가설이 "이름표는 값과 아무 상관이 없다" 라면, 이름표를 어떻게 붙이든 똑같이 그럴듯한 세상입니다.

실제로 본 배열     A A A B B B   →  차이 +2.4
섞어 본 배열 1     A B A B A B   →  차이 -0.3
섞어 본 배열 2     B A A A B B   →  차이 +1.1
섞어 본 배열 3     B B A A A B   →  차이 -1.7
...  20,000 번

이 20,000 개가 '아무 상관 없었다면' 의 분포다.
실제 값 +2.4 가 그중 몇 번째로 극단적인가 → 그것이 p 값

고등학생왜 섞는 것이 정당한가

8강에서 이미 섞어 봤습니다. 여기서는 왜 그게 정당한지를 봅니다.

논리를 따라가면

귀무가설이 "이름표는 값과 아무 상관이 없다" 라면
이름표를 어떻게 붙이든 똑같이 그럴듯한 세상이다
그러니 모든 배열이 동등하게 가능하다
실제로 본 배열이 그중 몇 번째로 극단적인가 → 그것이 p 값

섞는 것이 곧 귀무가설을 그대로 실행하는 것이다

비유 — 카드를 섞어 보기

친구가 카드를 나눠 줬는데 내 패가 유난히 좋습니다. 친구가 조작했을까요?

확인하는 법 — 정말로 여러 번 섞어서 나눠 봅니다. 그리고 이만큼 좋은 패가 얼마나 자주 나오는지 셉니다.

1,000번 섞어서	결론
이만큼 좋은 패가 300번	흔한 일이다 — 조작 아님
이만큼 좋은 패가 2번	수상하다

공식이 아니라 실제로 해 보는 것이 검정이 된다

이게 왜 좋은가

정규분포를 안 가정한다
통계량이 무엇이든 된다 — 평균, 중앙값, 이상한 것도
이해하기 쉽다 — 공식을 몰라도 원리가 보인다

컴퓨터가 빨라져서 실용적이 된 방법입니다. 20,000번 섞는 데 몇 초면 돼요.

섞기를 늘릴수록 값이 안정됩니다. 그리고 t 검정과 <b>거의 같은 답</b>에 닿습니다.

Python 브라우저에서 실행

# 순열검정과 t 검정이 같은 답을 내는지 확인한다
import numpy as np
from scipy import stats
rng = np.random.default_rng(71)

n = 25
a = rng.normal(0.8, 1, n)
b = rng.normal(0, 1, n)
obs = a.mean() - b.mean()

pooled = np.concatenate([a, b])
labels = np.array([1] * n + [0] * n)

for B in [100, 1000, 5000, 20000]:
    cnt = 0
    for _ in range(B):
        perm = rng.permutation(labels)
        d = pooled[perm == 1].mean() - pooled[perm == 0].mean()
        if abs(d) >= abs(obs): cnt += 1
    p_perm = (cnt + 1) / (B + 1)          # +1 은 관측값 자신을 세는 것
    print(f"  섞기 {B:6d} 번  ->  p = {p_perm:.4f}")

print()
print(f"t 검정의 p       = {stats.ttest_ind(a, b).pvalue:.4f}")
print()
print("가정이 맞는 자료라 둘이 거의 같다.")
print("순열검정의 값어치는 '가정이 틀렸을 때도 맞는다' 는 데 있다.")

고등학생t 검정과 거의 같은 답에 닿습니다

캡션이 중요한 확인을 합니다 — 순열검정이 t 검정과 거의 같은 답을 낸다는 것.

공식이 있는 경우에 공식과 같은 답을 낸다

이게 왜 안심되는가

답을 아는 문제로 방법을 시험한 겁니다.

t 검정이 잘 맞는 상황에서 순열검정이 다른 답을 냈다면, 순열검정을 의심해야겠죠. 같은 답을 냈으니 믿을 만합니다.

그래서 공식이 없는 경우에도 순열검정을 믿는다

비유 — 새 저울을 검증하기

새로 산 저울이 정확한지 어떻게 알까요?

무게를 아는 물건을 올려 봅니다. 1kg 추를 올려 1kg 이 나오면? 그다음부터는 무게를 모르는 물건도 믿고 잽니다.

이 방법이 자료 분석 전반에 쓰입니다

어디서	어떻게
9강	귀무가설이 참인 자료로 p 값이 평평한지 확인
12강	순열검정을 t 검정과 맞춰 본다
13강	붓스트랩을 공식과 맞춰 본다
15강	FDR 절차가 약속한 비율을 지키는지 확인

답을 아는 경우로 방법을 먼저 검증한다

이건 /py 15강에서도 나왔던 방법이에요. 새 도구를 쓸 때 반드시 하는 일입니다.

몇 번 섞어야 안정되나

코드가 섞기 횟수를 늘려 가며 보여 줍니다.

1,000번 — p 값이 조금 흔들린다
10,000번 — 꽤 안정
100,000번 — 거의 고정

p 값이 0.05 근처일 때 특히 많이 섞어야 합니다. 문턱 근처에서 흔들리면 결론이 바뀌니까요.

고등학생p 값에 +1 을 더하는 이유

코드에 (cnt + 1) / (B + 1) 이 나옵니다. 왜 1을 더할까요?

관측값 자신도 가능한 배열 하나이기 때문

논리

귀무가설이 참이라면 실제로 본 배열도 가능한 배열 중 하나일 뿐입니다. 특별할 게 없어요.

그러니 세는 목록에 자기 자신을 넣는 것이 맞습니다.

안 넣으면 어떻게 되나

p = 0 이 나올 수 있다

그런데 p 값은 결코 0 이 아닙니다. "우연으로는 절대 불가능" 이라는 뜻인데, 그럴 리가 없죠.

그래서 최솟값이 정해집니다

B 번 섞었다면 말할 수 있는 최솟값은 1/(B+1)

섞기	최소 p 값	보고하는 법
999번	0.001	p < 0.001
9,999번	0.0001	p < 0.0001

논문에서 "p < 0.001 (순열 1000회)" 라고 적는 이유가 이겁니다. 더 작다고 말할 근거가 없어서예요.

비유 — 저울의 눈금

1g 단위 저울로 0.3g 을 잴 수 있나요? 없습니다. "1g 미만" 이라고만 말할 수 있죠.

도구의 해상도를 넘는 정밀도를 주장하면 안 된다

퀴즈의 답

1,000회 돌려 0번 나왔다면? p = 0 이 아니라 p < 0.001 입니다.

정확히는 (0+1)/(1000+1) ≈ 0.000999 이므로 "p ≈ 0.001" 또는 "p < 0.001" 로 적습니다.

언제 순열검정으로 가나

순열이 좋을 때

· 표본이 작다
· 분포가 이상하다
· 통계량이 복잡해 이론 분포가 없다
· 가정을 아예 안 걸고 싶다

순열이 어려울 때

· 계산이 오래 걸린다
· 자료에 구조가 있다 (짝·군집·시간)
→ 그 구조 안에서만 섞어야 한다

두 번째 상자의 마지막 줄이 함정입니다. 짝지어진 자료를 통째로 섞으면 짝 구조까지 깨뜨려 엉뚱한 귀무분포가 나옵니다. 짝 자료는 짝 안에서 좌우만 바꿔야 해요.

구조를 지키느냐가 <b>결론을 바꿉니다</b>. 섞는 방식이 곧 귀무가설의 정의입니다.

Python 브라우저에서 실행

# 구조를 무시하고 섞으면 무슨 일이 생기나
import numpy as np
rng = np.random.default_rng(81)

n = 20
subject = rng.normal(100, 25, n)      # 개체마다 크게 다르다
before = subject + rng.normal(0, 3, n)
after = subject + rng.normal(0, 3, n) + 4.0     # 진짜 효과 +4

obs = (after - before).mean()
print(f"실제로 본 전후 차이 {obs:+.2f}")
print()

# 방법 1 (틀림) - 40개 값을 통째로 섞는다
allv = np.concatenate([before, after])
wrong = []
for _ in range(20000):
    p = rng.permutation(allv)
    wrong.append(p[n:].mean() - p[:n].mean())
wrong = np.array(wrong)

# 방법 2 (맞음) - 짝 안에서 전후만 뒤집는다
right = []
d = after - before
for _ in range(20000):
    sign = rng.choice([-1, 1], n)
    right.append((d * sign).mean())
right = np.array(right)

print(f"통째로 섞기   귀무분포 폭 {wrong.std(ddof=1):6.3f}   p = {(np.abs(wrong)>=abs(obs)).mean():.4f}")
print(f"짝 안에서 뒤집기 귀무분포 폭 {right.std(ddof=1):6.3f}   p = {(np.abs(right)>=abs(obs)).mean():.4f}")
print()
print("통째로 섞으면 개체 간 차이까지 잡음으로 들어가 귀무분포가 넓어진다.")
print("그래서 진짜 효과가 있는데도 못 찾는다 - 검정력을 통째로 버린 셈이다.")

고등학생섞는 방식이 곧 귀무가설의 정의입니다

이 note 가 순열검정의 가장 미묘한 부분입니다.

자료에 구조가 있으면 그 구조 안에서만 섞어야 한다

무슨 뜻인가

짝지어진 자료를 생각해 보세요 — 같은 생쥐의 투여 전·후입니다.

섞는 방식	무엇을 검정하나
통째로 섞는다	"전·후와 생쥐 개체가 다 무관하다" ✘
짝 안에서 좌우만 바꾼다	"같은 생쥐 안에서 전·후가 무관하다" ✔

통째로 섞으면 짝 구조까지 깨뜨려 엉뚱한 귀무분포가 나온다

비유 — 반별 성적을 비교할 때

1반과 2반의 성적을 비교합니다. 그런데 학년이 다릅니다 — 1반은 3학년, 2반은 1학년.

학생을 통째로 섞으면 3학년과 1학년이 뒤섞입니다. 그건 우리가 묻는 물음이 아니죠.

학년 안에서만 섞어야 "학년을 고정한 채 반의 효과" 를 봅니다.

섞는 방식이 곧 "무엇을 고정하고 무엇을 무작위로 볼 것인가"

구조가 있는 자료의 예

구조	예	어떻게 섞나
짝	같은 개체의 전·후	짝 안에서 좌우
군집	같은 병원의 환자들	병원 단위로
시간	시계열	블록 단위로

이게 순열검정의 강점이자 부담입니다

강점 — 어떤 구조든 섞는 방식으로 표현할 수 있다.
부담 — 구조를 내가 이해하고 있어야 한다.

공식을 쓰면 도구가 알아서 해 주는 것 같지만, 사실은 같은 가정이 공식 안에 숨어 있을 뿐이에요. 순열검정은 그 가정을 눈에 보이게 만듭니다.

🤔 확인 문제

순열검정을 1,000회 돌려 관측값보다 극단적인 경우가 0번 나왔습니다. 보고할 p 값은?