11강 / 20강

중간에 들여다보기 — 볼 때마다 알파를 쓴다

DSMB · 알파 소비 함수 · 무익성 중단

3상은 3년짜리입니다. 그 3년 동안 아무도 자료를 안 볼까요?

봅니다. 봐야 합니다. 두 가지 이유로요.

🛑

해로우면

지금 멈춰야 한다. 남은 사람을 더 넣을 이유가 없다

🎉

이미 확실하면

위약군을 더 기다리게 할 이유가 없다

🌫️

가망이 없으면

끝까지 가도 안 될 것 같으면 접는다 (무익성)

그런데 볼 때마다 비용이 붙습니다. 자료를 다섯 번 들여다보면서 매번 p<0.05 면 멈추기로 하면, 진짜로는 효과가 없어도 언젠가 한 번은 걸립니다.

고등학생볼 때마다 알파를 쓴다

시험 도중에 결과를 들여다보고 싶습니다. 좋은 약이면 빨리 알리고, 나쁘면 빨리 멈춰야 하니까요.

그런데 대가가 있습니다.

중간분석 횟수	실제 1종 오류율 (α=0.05로 매번 검정 시)
1회 (최종만)	5%
2회	약 8%
5회	약 14%

여러 번 보면 우연히 유의한 순간을 만날 확률이 올라갑니다.

이것을 <b>다중성(multiplicity)</b> 이라고 합니다. 13강에서 다시 만납니다.

Python 브라우저에서 실행

# 여러 번 들여다보면 거짓양성이 얼마나 늘어나나
import numpy as np
rng = np.random.default_rng(11)

TRIALS, N_FINAL = 4000, 600     # 효과가 진짜로 0 인 시험 4000개
looks_list = [1, 2, 3, 5, 10]

print("진실: 약의 효과는 정확히 0. 그런데 중간에 여러 번 본다.")
print()
print(" 들여다본 횟수    한 번이라도 p<0.05 가 된 비율")
for L in looks_list:
    ns = np.linspace(N_FINAL / L, N_FINAL, L).astype(int)
    hit = 0
    for _ in range(TRIALS):
        a = rng.normal(0, 1, N_FINAL)
        b = rng.normal(0, 1, N_FINAL)
        for n in ns:
            d = a[:n].mean() - b[:n].mean()
            se = np.sqrt(a[:n].var(ddof=1)/n + b[:n].var(ddof=1)/n)
            if abs(d / se) > 1.96:
                hit += 1
                break
    print(f"      {L:2d} 번           {hit/TRIALS*100:5.1f}%")
print()
print("약속한 5% 가 아니다. 볼수록 새어 나간다.")

고등학생알파 소비 함수

해법은 α를 나눠 쓰는 것입니다.

방식	내용
O'Brien-Fleming	초기에는 아주 엄격, 나중에 느슨
Pocock	매번 같은 문턱

O'Brien-Fleming이 흔합니다 — 초기에는 아주 강한 증거가 있어야 멈춥니다.

초기에 멈추려면 p가 0.001보다 작아야 하는 식이에요. 그래야 최종 분석에 α가 대부분 남습니다.

고등학생DSMB — 독립적인 감시

중간 결과를 누가 볼까요? 연구자가 보면 눈가림이 깨집니다.

DSMB의 성격	내용
독립적	시험과 이해관계가 없는 전문가
눈가림 해제된 자료를 봄	—
권고만 함	계속 · 수정 · 중단
연구자에게는 결과를 안 알림	눈가림 유지

DSMB가 있어야 연구자가 결과를 모른 채 시험을 계속할 수 있습니다.

누가 보는가 — DSMB

중간 자료를 연구자가 보면 안 됩니다. 눈가림이 풀리니까요.

그래서 시험과 무관한 사람들로 독립적인 위원회를 만듭니다 — 자료안전성모니터링위원회(DSMB, 또는 DMC).

DSMB 가 하는 일
  · 눈가림이 풀린 자료를 본다 (이 시험에서 유일하게)
  · 계속 / 수정 / 중단 을 권고한다
  · 그 권고만 시험 책임자에게 전한다 — 숫자는 전하지 않는다

DSMB 에 들어가는 사람
  · 그 병의 임상의 · 통계학자 · (때로) 윤리 전문가
  · 시험 참여 기관 소속이 아니고, 그 약에 이해관계가 없어야 한다

고등학생세 가지 중단 사유

사유	내용
효과 (efficacy)	이미 명백히 좋음 — 대조군에게 미안함
안전성 (harm)	해가 명백함
무익성 (futility)	끝까지 해도 유의할 가능성이 없음

무익성 중단이 자원을 아낍니다 — 안 될 시험을 계속하는 것도 윤리적 문제입니다.

다만 효과로 조기 중단하면 효과크기가 과대평가되는 경향이 있습니다. 운 좋게 높이 튄 순간에 멈춘 것일 수 있으니까요.

🤔 확인 문제

중간분석을 3회 하기로 하고 O'Brien-Fleming 경계를 쓰기로 했습니다. 첫 중간분석에서 p=0.01 이 나왔습니다. 이때 시험은?