14강 / 20강

하위군 분석 — 눈에 띄는 하나가 가장 위험하다

숲그림 읽는 법 · 교호작용 검정 · 미리 정한 하위군

3상이 실패했습니다. 전체로는 유의하지 않았어요.

그런데 자료를 갈라 보니 — 65세 미만 남성에서는 아름답게 유의합니다. 이 사람들에게만 쓰면 되지 않을까요?

거의 항상 아닙니다. 이유는 13강과 같습니다.

고등학생눈에 띄는 하나가 가장 위험하다

전체에서는 효과가 없었는데 특정 하위군에서는 좋았다면? 흥미로워 보이죠.

하위군 수	하나라도 우연히 유의할 확률
5	약 23%
10	약 40%
20	약 64%

하위군을 많이 보면 반드시 하나는 유의합니다 — 효과가 전혀 없어도요.

실패한 3상에서 하위군을 뒤지면 <b>대체로 뭔가 나옵니다</b>. 그게 문제입니다.

Python 브라우저에서 실행

# 효과가 0 인 약을 12개 하위군으로 갈라 보면
import numpy as np
rng = np.random.default_rng(5)

N, K = 1200, 12                 # 전체 1200명, 하위군 12개
runs = 2000
found = 0
for _ in range(runs):
    eff = rng.normal(0, 1, N)   # 진짜 효과는 0
    grp = rng.integers(0, K, N)
    any_sig = False
    for k in range(K):
        x = eff[grp == k]
        if len(x) < 20:
            continue
        se = x.std(ddof=1) / np.sqrt(len(x))
        if abs(x.mean() / se) > 1.96:
            any_sig = True
    found += any_sig

print(f"효과가 정확히 0 인 약. {K}개 하위군으로 갈라 본다. {runs}번 반복.")
print()
print(f"  적어도 한 하위군이 p<0.05    {found/runs*100:5.1f}%")
print()
print("전체가 실패한 시험에서 '어떤 하위군은 잘 들었다' 를 찾는 일은")
print("거의 언제나 성공한다. 약과 무관하게.")

고등학생유명한 사례 — 별자리

한 대규모 시험에서 장난삼아 별자리별 하위군 분석을 해 봤습니다. 그리고 두 별자리에서 약이 효과가 없는 것으로 나왔어요.

별자리가 약효를 정할 리 없습니다 — 이것이 하위군 분석의 위험을 보여 줍니다.

이 사례의 교훈	내용
우연은 반드시 패턴을 만든다	—
사후 하위군은 가설일 뿐	확정이 아님

숲그림(forest plot) 을 읽는 세 가지 규칙

보는 것	왜
미리 정했나	프로토콜에 적힌 하위군인가, 자료를 보고 만든 것인가
몇 개인가	12개를 갈랐으면 하나쯤 튀는 것이 정상이다
교호작용 p	각 하위군의 p 가 아니라, 하위군끼리 다른가의 p 를 본다

세 번째가 핵심입니다. "A군은 p=0.01, B군은 p=0.31" 은 A와 B가 다르다는 증거가 아닙니다. 검정력이 다르면 그렇게 보일 수 있거든요. 물어야 할 것은 교호작용(interaction) 의 p 값입니다.

고등학생숲그림 읽는 법

숲그림(forest plot)은 하위군별 효과를 한 장에 보여 줍니다.

보는 것	내용
각 하위군의 점추정	효과의 크기
가로선 (신뢰구간)	불확실성 — 하위군은 항상 넓음
전체 결과 (세로선)	비교 기준
교호작용 검정	하위군끼리 정말 다른가

마지막 줄이 핵심입니다 — "하나는 유의, 하나는 아님"이 차이가 있다는 뜻이 아닙니다.

고등학생믿을 만한 하위군 결과의 조건

조건	내용
미리 정했나	사전 계획서에 있어야
하위군 수가 적은가	많으면 다중성
교호작용이 유의한가	단순 비교가 아니라
생물학적으로 설명되나	기전이 있나
다른 시험에서도 그런가	재현
효과 방향이 반대인가	정도 차이보다 강한 증거

여섯 가지를 다 만족하는 하위군 결과는 아주 드뭅니다.

🤔 확인 문제

전체에서 실패한 3상에서, 사전에 정하지 않은 14개 하위군 중 하나가 p=0.02 로 유의했습니다. 올바른 처리는?