19강 / 20강

p값을 손으로 만들기 — 순열검정

공식을 믿지 못하겠다면 섞어 보면 된다

14강에서 z 를 구하고 2 × norm.sf(|z|) 로 p값을 얻었습니다. 이 한 줄에는 큰 가정이 숨어 있어요 — z 가 표준정규분포를 따른다는 가정입니다.

이 가정은 표본이 충분히 크고 조건이 맞을 때 성립합니다. 그런데 우리 자료가 그런지 어떻게 알까요?

직접 만들어 보면 됩니다.

고등학생공식을 믿지 못하겠다면

14강에서 z 를 구하고 공식으로 p 값을 얻었다. 그 공식은 여러 가정 위에 서 있다.

가정	깨질 수 있나
표본이 충분히 큼	작은 군에서 깨짐
비례위험	자주 깨짐
중도절단이 무작위	깨질 수 있음

가정을 안 쓰는 방법이 있다

섞어 보면 된다.

공식이 못 미더우면 자료로 직접 만들면 된다 — 순열검정

위암은 14강에서 p = 0.87 이었습니다 — 아무것도 없는 자리예요. 귀무가설이 참인 상황을 관찰하기에 좋습니다.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients().dropna(subset=["OS", "OS_time"])
g = p[p.tumor == "STAD"]                   # 위암 — 14강에서 아무 결과가 없었던 암종
hi, lo = til.split(g)
실제z, 공식p = til.logrank(hi.OS_time.values, hi.OS.values,
                          lo.OS_time.values, lo.OS.values)
print(f"위암 환자 {len(g)}명")
print(f"실제 z = {실제z:.3f}   공식으로 구한 p = {공식p:.4f}")

고등학생순열검정의 절차

단계	하는 일
1	실제 자료에서 통계량을 계산 (예: z)
2	군 이름표를 무작위로 섞음
3	같은 통계량을 다시 계산
4	2~3을 수천 번 반복
5	실제 값보다 극단인 것이 몇 %인가 = p 값

왜 이것이 p 값인가

p 값의 정의가 바로 그것이다 — "차이가 없을 때 이만큼 극단적인 값이 나올 확률."

이름표를 섞으면 차이가 없는 상태 가 된다. 그 상태에서 통계량이 어떻게 분포하는지 직접 만드는 것이다.

이론 분포를 가정하는 대신 자료에서 분포를 만들어 낸다

평균 0.01, 표준편차 0.95, 꼬리 4.5%. 이론값(0, 1, 5%)에 충분히 가깝습니다 — 정규 근사를 써도 되겠다는 증거를 우리 손으로 만든 셈이에요.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients().dropna(subset=["OS", "OS_time"])
g = p[p.tumor == "STAD"]
t, e = g.OS_time.values, g.OS.values
n_hi = len(g) // 2

rng = np.random.default_rng(0)
널 = []
for _ in range(1000):                       # 몇 초 걸립니다
    i = rng.permutation(len(g))
    a, b = i[:n_hi], i[n_hi:]
    널.append(til.logrank(t[a], e[a], t[b], e[b])[0])

널 = np.array(널)
print(f"섞어서 얻은 z {len(널):,}개")
print(f"  평균     {널.mean():+.3f}   (이론값 0)")
print(f"  표준편차 {널.std():.3f}   (이론값 1)")
print(f"  |z| > 1.96 인 비율 {100*(np.abs(널) > 1.96).mean():.1f}%   (이론값 5.0%)")

고등학생무엇을 섞느냐가 가설을 정한다

섞는 것	검정하는 가설
군 이름표	두 군의 생존이 같다
침윤률 값	침윤률과 생존이 무관하다
암종 안에서만 섞기	암종을 통제한 관계

세 번째가 강력하다

17강의 심슨의 역설을 피하려면 암종 안에서만 섞으면 된다.

그러면 암종 간 차이는 기대값에도 들어가서 상쇄된다.

섞는 범위를 제한하면 그 범위의 교란이 자동으로 통제된다

흑색종의 z 는 섞은 1,000번 중 한 번도 나오지 않습니다. 순열 p < 0.001.

Python 브라우저에서 실행

import til
import numpy as np
import matplotlib.pyplot as plt

p = til.patients().dropna(subset=["OS", "OS_time"])
g = p[p.tumor == "SKCM"]                  # 이번엔 결과가 있었던 암종
hi, lo = til.split(g)
실제z, 공식p = til.logrank(hi.OS_time.values, hi.OS.values,
                          lo.OS_time.values, lo.OS.values)

t, e = g.OS_time.values, g.OS.values
rng = np.random.default_rng(1)
널 = np.array([til.logrank(t[i[:len(hi)]], e[i[:len(hi)]],
                          t[i[len(hi):]], e[i[len(hi):]])[0]
               for i in (rng.permutation(len(g)) for _ in range(1000))])

순열p = (np.abs(널) >= abs(실제z)).mean()
plt.figure(figsize=(8, 3.6))
plt.hist(널, bins=40, color="#3b82f6")
plt.axvline(실제z, color="#8b5cf6", lw=2.5)
plt.xlabel("z under the null"); plt.ylabel("count")
plt.tight_layout()

print(f"실제 z = {실제z:.3f}")
print(f"섞어서 이만큼 극단적인 경우 {int((np.abs(널) >= abs(실제z)).sum())} / 1000")
print(f"순열 p = {순열p:.4f}   (공식 p = {공식p:.2e})")

순열검정의 진짜 힘은 여기에 있습니다 — 어떤 절차든 통째로 섞어 넣을 수 있다는 점.

15강의 cutoff hacking 을 기억하세요. 열일곱 자리에서 잘라 보고 가장 좋은 p 를 고르는 절차 말입니다. 그 절차의 p값은 공식으로 구할 수 없어요. 하지만 순열로는 구할 수 있습니다 —

라벨을 섞는다
섞은 자료에서 열일곱 자리를 다 시험하고 가장 작은 p 를 고른다
이것을 1,000번 되풀이해 "최선의 p" 들의 분포를 얻는다
우리의 "최선의 p" 가 그 분포에서 얼마나 극단적인지 본다

이렇게 하면 탐색까지 포함한 정직한 p값이 나옵니다. 계산은 오래 걸리지만, 원리는 위에서 한 것과 똑같아요.

고등학생15강의 함정도 순열로 다룰 수 있다

문턱을 여러 개 시도해서 가장 작은 p 를 골랐다면, 그 p 값은 틀렸다(15강).

순열로 고치는 법

단계	하는 일
1	실제 자료에서 여러 문턱을 시도해 최소 p 를 구함
2	이름표를 섞고 같은 탐색 절차 를 반복
3	섞은 자료의 최소 p 분포를 만듦
4	실제 최소 p 가 그 분포에서 얼마나 극단인가

핵심 — 절차 전체를 반복한다

탐색까지 포함해서 섞은 자료에도 똑같이 적용한다. 그러면 탐색의 효과가 기대값에 들어간다.

분석 절차 전체를 순열에 포함시키면 그 절차가 만든 편향이 보정된다

🤔 확인 문제

순열검정에서 라벨을 섞는 행위가 만들어 내는 세상은?

🤔 확인 문제

순열검정을 써야 할 이유로 가장 강한 것은?