5강 / 20강

달라졌다와 달라서 좋다 — 통계적 유의와 임상적 의미

MCID · 사람 수만 늘리면 무엇이든 유의해진다

p<0.05 가 나왔습니다. 축하할 일일까요?

p 값이 말하는 것은 하나뿐입니다 — 차이가 0 이라고 보기는 어렵다. 그 차이가 얼마나 큰지는 아무 말도 하지 않습니다.

그리고 사람 수를 늘리면 아무리 작은 차이도 결국 유의해집니다.

고등학생달라졌다와 달라서 좋다

통계적으로 유의하다는 것과 임상적으로 의미 있다는 것은 다릅니다.

	통계적 유의	임상적 의미
묻는 것	우연일 가능성이 낮은가	환자가 느낄 만한 차이인가
정하는 것	p값 · 표본 수	MCID

사람 수만 늘리면 무엇이든 유의해집니다 — 아무리 작은 차이라도요.

p 값은 <b>효과의 크기</b>가 아니라 <b>증거의 양</b>을 반영합니다. 사람이 많으면 증거가 쌓입니다.

Python 브라우저에서 실행

# 아주 작은 차이도 사람이 많으면 유의해진다
import numpy as np
from scipy import stats
rng = np.random.default_rng(19)

true_diff = 5.0      # 진짜 차이 5 mL/년 - 아무도 못 느낄 크기
sd = 250.0

print(f"진짜 차이 {true_diff:.0f} mL/년 (임상적으로 무의미한 크기), 표준편차 {sd:.0f}")
print()
print("  한 군당      평균 p 값     p<0.05 가 나오는 비율")
for n in [50, 200, 1000, 5000, 20000]:
    ps = []
    for _ in range(400):
        a = rng.normal(true_diff, sd, n)
        b = rng.normal(0, sd, n)
        ps.append(stats.ttest_ind(a, b).pvalue)
    ps = np.array(ps)
    print(f"  {n:6d} 명      {ps.mean():8.3f}      {(ps<0.05).mean()*100:5.1f}%")
print()
print("차이는 처음부터 끝까지 5 mL/년 이다. 바뀐 것은 사람 수뿐이다.")

고등학생MCID란

최소 임상적 중요 차이(Minimal Clinically Important Difference) — 환자가 의미 있다고 느끼는 최소 변화입니다.

어떻게 정하나	내용
환자에게 물음	"좋아졌다고 느끼나"와 수치 변화를 대조
임상 사건과 대조	이만큼 변하면 입원·사망이 늘어나나
분포 기반	측정 오차보다 큰가
전문가 합의	—

MCID는 연구 전에 정해져야 합니다 — 결과를 보고 정하면 안 됩니다.

고등학생네 가지 조합

	통계적 유의	임상적 의미	판단
①	예	예	좋은 결과
②	예	아니오	차이는 있지만 무의미
③	아니오	—	검정력 부족일 수도
④	아니오	신뢰구간이 MCID를 배제	효과가 없다고 말할 수 있음

④번이 중요합니다 — 신뢰구간이 MCID보다 좁으면 "효과가 없다"고 결론 낼 수 있습니다.

네 가지 경우가 있다

유의 + 의미 있음

찾던 것. 구간 전체가 MCID 를 넘는다

유의 + 의미 없음

사람이 많아서 잡힌 작은 차이. 가장 오해받기 쉬운 칸

유의하지 않음 + 구간이 좁음

의미 있는 차이를 배제했다. 쓸모 있는 음성 결과

유의하지 않음 + 구간이 넓음

모른다. 시험이 너무 작았다

아래 두 칸이 특히 중요합니다. "유의하지 않았다" 는 두 가지 전혀 다른 상황을 뭉뚱그린 말이에요. 어느 쪽인지는 신뢰구간의 폭을 봐야 알 수 있습니다.

고등학생그래서 신뢰구간을 본다

보고	알 수 있는 것
p = 0.03	우연이 아닐 가능성 — 크기는 모름
차이 = 50 mL	크기 — 확실성은 모름
50 mL (95% CI: 10~90)	크기와 확실성 둘 다

신뢰구간이 MCID를 포함하는지가 판단의 핵심입니다.

신뢰구간의 아래쪽 끝이 MCID보다 크면 확실히 의미 있고, 위쪽 끝이 MCID보다 작으면 확실히 무의미합니다.

🤔 확인 문제

한 군당 20,000명인 시험에서 새 약이 위약보다 3 mL/년 좋았고 p=0.001 이었습니다. 이 병의 MCID 는 100 mL/년 입니다. 올바른 해석은?