18강 / 20강

작은 표본 — 없다는 말을 할 수 없는 이유

여섯 명에게서 안 보인 부작용의 진짜 상한 · 3의 법칙

한 코호트에서 약을 받은 여섯 명 모두 아무 일이 없었습니다. 그러면 부작용 발생률이 0% 라고 말해도 될까요?

안 됩니다. 여섯 명으로는 10%짜리 부작용도 절반 넘게 놓칩니다.

<b>3의 법칙</b>이라고 부릅니다. 0건을 봤을 때 발생률의 95% 상한은 대략 3/n 이에요.

Python 브라우저에서 실행

# 여섯 명에게서 아무 일이 없었다 - 진짜 발생률은 얼마까지 가능한가
import numpy as np

n = 6
for p in [0.05, 0.10, 0.20, 0.30, 0.50]:
    miss = (1 - p) ** n
    print("진짜 발생률", str(int(p * 100)).rjust(3), "% ->",
          "여섯 명 모두 무사할 확률", str(round(miss * 100, 1)).rjust(5), "%")

print()
# 3의 법칙: 한 명도 안 나왔을 때 95% 신뢰상한 = 3/n
for n in [6, 10, 30, 78, 300]:
    print("n =", str(n).rjust(4), "-> 관찰 0건일 때 발생률 95% 상한 =",
          str(round(3 / n * 100, 2)).rjust(6), "%")

고등학생3의 법칙

간단한 규칙이 있습니다. n명에서 어떤 사건이 한 번도 안 일어났을 때, 그 빈도의 95% 상한은 3/n입니다.

n	0건 관찰 시 빈도의 95% 상한
6	3/6 = 50%
30	10%
78	약 3.8%
300	1%
3,000	0.1%

6명에서 안 보인 부작용의 실제 빈도가 최대 50%일 수 있습니다.

78명이면 무엇까지 말할 수 있나

3 / 78 ≈ 3.8%

Ren 2024 의 1상 전체 78명에게서 어떤 중대이상반응도 나오지 않았다고 하면, 그 자료로 말할 수 있는 것은 "발생률이 3.8% 보다 낮을 것" 정도입니다.

1,000명 중 한 명(0.1%)에게 생기는 심각한 간독성은 78명으로는 보이지 않습니다. 그런 것은 3상 수천 명에서, 때로는 허가 뒤 4상에서야 드러나요.

1상이 잡을 수 있는 해

흔하고(수 % 이상) 빨리 나타나는 것 — 두통·메스꺼움·간수치 상승

1상이 절대 못 잡는 해

드물거나(0.1% 이하) 오래 걸려 나타나는 것 — 특이체질 간부전, 몇 년 뒤의 암

고등학생78명이라는 규모의 뜻

이 시험에서	말할 수 있는 것
78명에서 SAE 0건	빈도가 약 3.8% 미만일 것
—	1%짜리 부작용은 못 잡음
—	0.1%짜리는 전혀 못 잡음

드문 부작용을 잡으려면 수천 명이 필요합니다 — 3상과 4상의 몫입니다.

그리고 78명은 여러 용량군으로 나뉩니다. 특정 용량에서는 6~8명뿐이에요.

검정력이 이렇게 낮으면 <b>안 나온 것</b>이 아무 정보도 아닙니다.

Python 브라우저에서 실행

# 왜 1상에서 p 값을 잘 안 쓰나 - 여섯 대 둘로 무엇을 할 수 있나
import numpy as np
from scipy import stats

rng = np.random.default_rng(18)

def power(effect, n_drug=6, n_plac=2, reps=4000):
    hit = 0
    for _ in range(reps):
        d = rng.normal(effect, 1.0, n_drug)
        p = rng.normal(0.0, 1.0, n_plac)
        if stats.ttest_ind(d, p).pvalue < 0.05:
            hit += 1
    return hit / reps

for e in [0.5, 1.0, 2.0, 3.0]:
    print("진짜 차이", e, "표준편차만큼 있을 때 -> 잡아낼 확률",
          str(round(power(e) * 100, 1)).rjust(5), "%")

print()
print("진짜로 3 표준편차만큼 차이가 나도 절반 남짓밖에 못 잡는다.")
print("그래서 1상은 검정이 아니라 '무슨 일이 있었는지' 를 하나하나 적는다.")

고등학생그럼 1상은 무의미한가

아닙니다. 잡을 수 있는 것이 명확히 있습니다.

1상이 잡는 것	못 잡는 것
흔한 부작용 (10% 이상)	드문 부작용 (1% 미만)
급성·용량 의존적 독성	장기 사용의 영향
약동학	효과
내약 가능한 용량	치료 용량

1상은 큰 문제를 걸러 내는 관문입니다 — 완전한 안전 증명이 아닙니다.

그래서 보고할 때 "부작용이 없었다"가 아니라 "78명에서 관찰되지 않았다"라고 적어야 정확합니다.

🤔 확인 문제

여섯 명에게 투약해 아무 이상반응도 없었습니다. 발생률에 대해 말할 수 있는 것은?

🤔 확인 문제

1상 보고에서 p 값이 잘 등장하지 않는 이유는?