19강 / 20강

실습 종합 — ELIANA 의 숫자를 끝까지 따진다

반응률에 구간을 붙이고, 3의 법칙을 걸고, 재발까지

이 사이트의 도구를 ELIANA 하나에 다 걸어 봅니다 — /stat 의 신뢰구간, /reg 의 3의 법칙, /epi 의 편향 목록.

고등학생숫자에 구간을 붙인다

"반응률 81%" 는 75명에게서 관찰된 값 이다. 다른 75명에게 했으면 다른 값이 나왔을 것이다. 그 흔들림의 폭을 나타내는 것이 신뢰구간 이다.

왜 구간이 필요한가

81% 라는 점 하나만 보면 정확한 값처럼 보인다. 실제로는 "대략 이 범위 어딘가" 다. 75명에서 81% 라면 95% 신뢰구간은 대략 71~89% 쯤이다.

n	관찰 81%	대략적 95% 구간
25	81%	약 61~93%
75	81%	약 71~89%
300	81%	약 76~85%

표본이 커질수록 구간이 좁아진다. 같은 비율이라도 몇 명에서 나왔느냐가 정보의 양을 정한다.

비율을 보고했으면 구간도 함께 봐야 한다 — 둘은 한 벌이다

점추정치 81% 뒤에 18%p 폭의 구간이 있습니다.

Python 브라우저에서 실행

# 1. 반응률에 구간을 붙인다
import numpy as np
from scipy import stats

n = 75
cr, cri = 45, 16
resp = cr + cri

print(f"주입받은 사람 {n}명")
print(f"  완전관해            {cr}명 ({cr/n*100:.0f}%)")
print(f"  불완전회복 완전관해  {cri}명 ({cri/n*100:.0f}%)")
print(f"  전체 관해           {resp}명 ({resp/n*100:.0f}%)")
print()

lo, hi = stats.beta.ppf([0.025, 0.975], resp + 0.5, n - resp + 0.5)
print(f"95% 신뢰구간  {lo*100:.0f} ~ {hi*100:.0f}%    (논문 보고 71~89%)")
print(f"구간의 폭     {(hi-lo)*100:.0f} %p")
print()
print("75명이라 구간이 이만큼 넓다.")
print("'81%' 하나만 외우면 그 폭을 놓친다 - /stat 7강.")

75명이면 4% 미만까지만 말할 수 있습니다. 그래서 장기추적이 붙어요.

Python 브라우저에서 실행

# 2. 못 본 것에 3의 법칙을 건다
import numpy as np

n = 75
print(f"{n}명에서 **한 건도 없었던** 부작용의 발생률 상한 (95%)")
print(f"  3 / {n} = {3/n*100:.2f}%")
print()
print("즉 ELIANA 에서 안 보였다고 해서 4% 미만이라고까지만 말할 수 있다.")
print()
print("  본 사람 수    상한      이 정도는 못 본다")
for m, note in [(75, "ELIANA"), (300, "허가 후 초기"), (3000, "시판 후"), (30000, "몇 해 뒤")]:
    print(f"  {m:8,d}   {3/m*100:6.3f}%   {note}")
print()
print("그래서 세포치료의 허가에는 긴 시판 후 추적이 붙는다(17강).")
print("드문 것은 시간이 지나야 보인다 - /reg 20강.")

고등학생3의 법칙

75명에게서 어떤 부작용이 한 번도 안 나타났다. 그 부작용의 실제 빈도는 0인가? 아니다.

계산

실제 빈도가 p 라면, n 명 모두에게서 안 나타날 확률은 (1−p)ⁿ 이다. 이 확률이 5% 가 되는 p 를 구하면, 근사적으로 p ≈ 3/n 이 나온다.

n	한 번도 못 봤을 때 빈도 상한 (95%)
30	10%
75	4%
300	1%
3,000	0.1%

이 어림셈이 왜 유용한가

암산으로 "이 시험이 못 봤을 수 있는 부작용의 크기" 를 잴 수 있다. 75명 시험에서 "심각한 부작용 없음" 이라고 쓰여 있으면, 4% 까지는 있을 수 있다 고 읽어야 한다. 25명 중 하나 꼴이면 결코 드문 것이 아니다.

3 나누기 n — 이 한 줄이 "안전하다" 는 주장의 한계를 알려 준다

같은 시험의 두 문장입니다. 어느 쪽을 적느냐로 인상이 달라져요.

Python 브라우저에서 실행

# 3. 관해율과 무재발생존을 함께 읽는다
import numpy as np

n = 75
orr = 0.81
rfs12 = 0.59        # 반응한 사람 중 12개월 무재발
os24 = 0.66

print("세 숫자를 이어 붙이면 무엇이 보이나")
print()
resp = n * orr
still = resp * rfs12
print(f"  주입 {n}명")
print(f"  관해 {resp:.0f}명 ({orr*100:.0f}%)")
print(f"  12개월까지 무재발 {still:.0f}명  (관해자의 {rfs12*100:.0f}%)")
print(f"  -> 주입받은 사람 기준 {still/n*100:.0f}%")
print()
print(f"24개월 전체생존은 {os24*100:.0f}% 다.")
print()
print("'81%' 와 '주입받은 사람의 47%가 1년 무재발' 은 같은 시험의 두 문장이다.")
print("어느 쪽을 적느냐로 인상이 크게 달라진다 - /reg 8강의 틀 효과.")
print()
print("그리고 이 셋 어디에도 '주입까지 가지 못한 사람' 은 없다(3강).")

일곱 가지를 대 봅니다. 결과를 의심하는 것이 아니라 문장의 크기를 정하는 일이에요.

Python 브라우저에서 실행

# 4. 이 강의의 목록을 하나씩 대 본다
checks = [
    ("설계",              "단일군 · 대조군 없음 - 바탕이 나빠 허용되었다(6강)"),
    ("누구를 셌나",        "주입받은 75명. 등록 대비 주입 비율을 함께 봐야 한다(3강)"),
    ("반응의 정의",        "CR + CRi. CRi 는 혈액학적 회복이 불완전하다"),
    ("얼마나 오래",        "12개월 무재발 59% - 재발이 흔하다(9강)"),
    ("무엇을 못 봤나",     "3의 법칙으로 4% 미만의 부작용(위 2번)"),
    ("일반화",            "소아·젊은 성인 ALL. 다른 병·다른 나이에 그대로 옮길 수 없다"),
    ("비교",              "다른 치료와 직접 견준 적이 없다 - /reg 20강의 간접비교 금지"),
]
w = max(len(k) for k, _ in checks)
print("ELIANA 를 읽을 때 물어야 할 것")
print()
for k, v in checks:
    print(f"  {k:<{w}}   {v}")
print()
print("이 중 어느 것도 '이 결과가 틀렸다' 는 뜻이 아니다.")
print("말할 수 있는 문장의 크기를 정하는 물음들이다.")

고등학생생존 곡선을 읽는 법

무재발생존 59% 같은 값은 카플란-마이어 곡선 에서 읽는다. 이 곡선을 볼 때 반드시 확인할 것들이 있다.

확인할 것	왜
위험 집단 수 (at risk)	곡선 오른쪽 끝은 몇 명 안 남았을 수 있음
중도 절단 표시	추적이 끊긴 사람이 많으면 해석 주의
추적 기간 중앙값	1년 자료로 5년을 말할 수 없음
곡선의 모양	평평해지면 '완치 분획' 가능성

첫 줄이 가장 자주 놓친다

곡선 오른쪽 끝이 평평하면 "안정적" 으로 보인다. 그런데 그 구간에 3명만 남아 있으면 그 평평함은 정보가 아니다. 한 명이 재발하면 곡선이 크게 꺼진다.

그래서 좋은 논문은 곡선 아래에 시점별 남은 인원 을 적는다. 그 줄이 없는 그림은 믿지 않는 것이 좋다.

곡선의 오른쪽 끝은 언제나 가장 약한 부분이다

고등학생여기서 한 일

이 실습에서 한 일을 정리하면 이렇다.

한 일	얻은 것
반응률에 신뢰구간을 붙임	81% 의 흔들림 폭
3의 법칙 적용	못 본 부작용의 상한
분모를 바꿔 다시 계산	ITT 관점의 성적
생존 곡선의 위험 집단 확인	후반부 자료의 신뢰도

공통점

전부 발표된 숫자에 불확실성을 되돌려 놓는 작업이다. 논문의 요약문은 점 추정치만 말한다. 81%, 59%, 77%. 그 뒤에 있는 폭을 복원하는 것이 읽는 사람의 몫이다.

이 작업에 필요한 것은 고급 통계가 아니다. 분모를 확인하고, 구간을 붙이고, 3/n 을 계산하는 것 — 이 셋이면 대부분 된다. /stat 과 /trial 에서 더 깊이 다룬다.

숫자를 읽는다는 것은 그 숫자의 불확실성을 함께 읽는 것이다

🤔 확인 문제

ELIANA 에서 특정 부작용이 한 건도 보고되지 않았습니다. 말할 수 있는 것은?