Lesson 13 of 20

2차 평가변수의 순서 — 위가 막히면 아래는 못 본다

다중성 · 계층적 검정 · 게이트키핑

1차 평가변수는 하나입니다. 그런데 재는 것은 하나가 아니에요.

폐기능, 급성악화까지 걸린 시간, 삶의 질 점수, 6분 걷기 거리, 사망률 — 한 시험에서 열 가지도 잽니다. 그리고 전부 검정하면 11강에서 본 일이 그대로 일어납니다.

High school위가 막히면 아래는 못 본다

2차 평가변수가 여러 개면 다중성 문제가 생깁니다. 여러 번 검정하면 우연히 유의한 것이 나와요.

검정 횟수	하나라도 우연히 유의할 확률
1	5%
5	약 23%
10	약 40%

평가변수를 많이 두면 하나쯤은 반드시 유의합니다.

열 개를 재면 <b>둘 중 하나꼴로</b> 뭔가가 유의하게 나옵니다. 약이 아무것도 안 해도요.

Python Runs in your browser

# 아무 효과가 없는 약으로 10가지를 재면 몇 개가 '유의' 하게 나오나
import numpy as np
rng = np.random.default_rng(23)

TRIALS, K, N = 5000, 10, 300
hit_any, hits = 0, []
for _ in range(TRIALS):
    sig = 0
    for _k in range(K):
        a, b = rng.normal(0, 1, N), rng.normal(0, 1, N)
        se = np.sqrt(a.var(ddof=1)/N + b.var(ddof=1)/N)
        if abs((a.mean() - b.mean()) / se) > 1.96:
            sig += 1
    hits.append(sig)
    hit_any += sig > 0

hits = np.array(hits)
print(f"효과가 정확히 0 인 약. 한 시험에서 {K}가지를 잰다. {TRIALS}번 반복.")
print()
print(f"  적어도 하나가 p<0.05    {hit_any/TRIALS*100:5.1f}%")
print(f"  평균 몇 개가 유의       {hits.mean():5.2f} 개")
print(f"  세 개 이상 유의한 시험  {(hits>=3).mean()*100:5.1f}%")
print()
print("1 - 0.95**10 =", round((1 - 0.95**K)*100, 1), "% 와 맞는다.")

High school계층적 검정

해법 중 하나입니다. 평가변수에 순서를 미리 정해 놓고 위에서부터 봐요.

단계	규칙
1차 평가변수	유의하면 다음으로
2차 ①	유의하면 다음으로
2차 ②	—
어느 단계에서 실패	이후는 검정 안 함

이것을 게이트키핑이라고 합니다 — 위가 막히면 아래 문이 안 열립니다.

High school왜 이 방법이 α를 지키나

순서가 정해져 있으면 실제 검정 횟수가 줄어듭니다. 앞이 실패하면 뒤는 안 하니까요.

방식	α 보정
계층적	각 단계에서 0.05를 그대로 씀 — 보정 불필요
본페로니	0.05 ÷ 검정 수 — 각각 엄격
보정 없음	부적절

계층적 방법은 순서를 미리 정하는 대가로 문턱을 안 낮춰도 됩니다.

왜 이게 공짜인가

보통 다중성은 보정으로 다룹니다 — 본페로니처럼 알파를 나눠 쓰는 거죠. 10개를 재면 각각 0.005 를 쓰는 식으로요. 엄격해지지만 검정력을 잃습니다.

계층적 검정은 다릅니다. 각 단계에서 알파 0.05 를 통째로 씁니다. 그런데도 전체 오류율은 0.05 를 넘지 않아요.

비결: 아래 단계는 위가 통과했을 때만 검정된다

  1차가 진짜로 효과 없음  →  1차에서 막힐 확률 95%
                          →  2차를 검정할 기회 자체가 5% 밖에 없다
                          →  전체 거짓양성이 0.05 를 넘지 못한다

대신 대가가 있습니다. 순서를 미리 정해야 하고, 한번 막히면 아래는 전부 버려집니다. 아래쪽 것이 아무리 아름다운 p 값을 내도 "탐색적" 이라고만 적을 수 있어요.

High school순서를 어떻게 정하나

기준	내용
임상적 중요도	가장 중요한 것을 위에
성공 가능성	실패할 것 같은 것을 위에 두면 아래가 다 막힘
라벨에 넣고 싶은 순서	18강 — 라벨 문장이 됨

순서는 전략적 결정입니다 — 그리고 시험 전에 정해 등록해야 합니다.

라벨에 "증상도 개선했다"를 넣고 싶으면 그 변수가 계층에서 살아남아야 해요. 위가 막히면 결과가 좋아도 라벨에 못 넣습니다.

🤔 Check yourself

계층적 검정 순서를 1차 → A → B 로 정한 시험에서, 1차 p=0.03, A p=0.40, B p=0.001 이 나왔습니다. 확증적으로 주장할 수 있는 것은?