Lesson 12 of 20

쌍둥이 시험 — 같은 설계로 두 번 하는 이유

INPULSIS-1 · INPULSIS-2 · CAPACITY 004 · CAPACITY 006

3상 하나가 성공했습니다. p=0.03. 그런데 규제기관이 하나 더 하라고 합니다.

왜일까요. p<0.05 면 된 것 아닌가요?

아닙니다. p<0.05 는 이 시험 하나에서 우연일 확률이 5% 미만이라는 말입니다. 세상의 모든 3상을 모아 놓으면, 효과 없는 약의 스무 개 중 하나는 그 선을 넘습니다.

두 번 독립적으로 넘을 확률 ≈ 0.05 × 0.05 = 0.0025

이것이 미국 법이 "적절하고 잘 통제된 시험들"이라고 복수형으로 쓴 이유입니다. 원칙은 두 개예요.

High school같은 설계로 두 번 하는 이유

INPULSIS-1과 INPULSIS-2. CAPACITY 004와 006. 왜 똑같은 시험을 두 번 할까요?

이유	내용
규제 요구	대개 독립적인 두 시험에서 입증을 요구
재현성	한 번은 우연일 수 있음
1종 오류 통제	둘 다 유의할 확률은 0.05 × 0.05

두 시험이 모두 유의할 확률은 우연히는 0.25%입니다 — 훨씬 엄격합니다.

High school동시에 하는 이유

순차로 하면	동시에 하면
시간이 두 배	같은 기간
첫 결과를 보고 두 번째를 바꿀 수 있음	불가능 — 더 엄격
—	환자 모집이 어려움 (두 배 필요)

동시에 하면 두 번째 시험을 결과에 맞춰 조정할 수 없습니다.

닌테다닙 — 둘 다 넘었다

INPULSIS-1 과 INPULSIS-2 는 같은 설계의 52주 3상입니다. 3:2 로 배정하고 합쳐서 1,066명. 1차 평가변수는 FVC 의 조정 연간 감소율이었어요.

	INPULSIS-1 (513명)	INPULSIS-2 (548명)
약	−114.7 mL/년	−113.6 mL/년
위약	−239.9 mL/년	−207.3 mL/년
차이	125.3 (95% CI 77.7–172.8)	93.7 (95% CI 44.8–142.7)
p	<0.001	<0.001

둘 다 넘었습니다. 그리고 약을 받은 군의 값이 거의 같습니다 — −114.7 과 −113.6. 갈린 것은 위약군이에요(−239.9 대 −207.3). 그래서 차이의 크기가 달라졌습니다.

2차 평가변수가 두 시험에서 엇갈리는 것은 <b>모순이 아니라 예상되는 일</b>입니다.

Python Runs in your browser

# 2차 평가변수가 두 시험에서 엇갈리는 것은 얼마나 흔한 일인가
import numpy as np
rng = np.random.default_rng(2014)

# 진실: 약이 급성악화를 45% 줄인다 (HR 0.55). 두 시험 다 같은 진실.
HR_true = 0.55
n_events = 45          # 2차 평가변수의 사건 수는 대개 이 정도로 적다
runs = 5000

both_sig = one_sig = none_sig = opposite = 0
for _ in range(runs):
    hrs = []
    for _t in range(2):
        # 로그 위험비의 표준오차는 대략 sqrt(4/사건수)
        se = np.sqrt(4 / n_events)
        loghr = rng.normal(np.log(HR_true), se)
        hrs.append((np.exp(loghr), abs(loghr / se) > 1.96, loghr))
    sig = sum(h[1] for h in hrs)
    if sig == 2: both_sig += 1
    elif sig == 1: one_sig += 1
    else: none_sig += 1
    if hrs[0][2] * hrs[1][2] < 0: opposite += 1

print(f"진실은 HR {HR_true} 로 두 시험이 똑같다. 사건 {n_events}건씩. {runs}번 반복.")
print()
print(f"  둘 다 유의            {both_sig/runs*100:5.1f}%")
print(f"  하나만 유의           {one_sig/runs*100:5.1f}%   <- 가장 흔한 결말")
print(f"  둘 다 유의하지 않음   {none_sig/runs*100:5.1f}%")
print(f"  방향이 서로 반대      {opposite/runs*100:5.1f}%   <- 드물지만 일어난다")
print()
print("약은 두 시험에서 정확히 같은 일을 했다. 갈린 것은 우연뿐이다.")
print("INPULSIS-1 의 HR 1.15 는 바로 그 마지막 칸에 떨어진 결과다.")

High school결과가 갈릴 때

CAPACITY의 두 시험은 결과가 달랐습니다. 하나는 유의했고 하나는 아니었어요.

해석	내용
우연	검정력이 80%면 20%는 놓침
환자군 차이	기관·지역이 다름
효과가 작음	경계선이라 갈림
정말 효과 없음	—

검정력 80%면 두 시험 다 유의할 확률은 64%입니다 — 효과가 진짜여도요.

피르페니돈 — 하나만 넘었다

CAPACITY 도 쌍둥이였습니다. 72주째 FVC 예측치(%)의 변화가 1차 평가변수였어요.

	연구 004 (435명)	연구 006 (344명)
약	−8.0%	−9.0%
위약	−12.4%	−9.6%
차이	4.4% (95% CI 0.7–9.1)	0.6% (95% CI −3.5–4.7)
p	0.001	0.501
결과	1차 평가변수 맞힘	못 맞힘

여기서도 갈린 것은 위약군입니다. 004 의 위약군은 −12.4% 였는데 006 의 위약군은 −9.6% 로 훨씬 덜 나빠졌어요. 약군은 −8.0 과 −9.0 으로 비슷했고요.

회사는 이 결과로 2009년에 허가를 신청했습니다. 그리고 2010년 5월, 보완요구(CRL) 를 받았습니다 — 유효성의 실질적 근거가 충분하지 않다.

High school그럼 어떻게 판단하나

고려	내용
방향이 같은가	둘 다 같은 쪽이면 긍정적
효과크기가 비슷한가	—
합쳐서 보면	메타분석 — 다만 사전 계획이어야
추가 시험	세 번째 시험을 요구할 수도

15강의 판단으로 이어집니다 — 허가는 통계가 아니라 판단입니다.

실제로 이런 상황에서 규제기관의 결정이 나라마다 갈리기도 합니다. 같은 자료를 다르게 판단하는 거예요.

🤔 Check yourself

같은 설계의 3상 두 개에서 1차 평가변수는 둘 다 유의했지만, 2차 평가변수 하나가 한쪽에서만 유의했습니다. 가장 알맞은 해석은?

🤔 Check yourself

CAPACITY 004 와 006 에서 결과가 갈린 직접적인 원인은 자료상 무엇이었습니까?