20강 / 20강

말할 수 있는 것과 말할 수 없는 것

제14장·제15장·작가 후기

6주 뒤 초음파 화면. 종양의 가장 긴 지름이 6.5 cm 에서 3.4 cm 가 되어 있었습니다.

무엇의 절반인가를 먼저 못박습니다. 소설에서 라첼이 폴에게 되묻는 대목입니다.

지름이 반이면 부피는 1/8

공의 부피는 지름의 세제곱에 비례합니다. 6.5 → 3.4 이면 부피로는 약 1/7. 국제 반응 기준은 가장 긴 지름을 씁니다 — 부피는 세 번 재서 곱하므로 측정 오차도 세 번 곱해지기 때문입니다. 지름 −48% 는 부분 반응(기준선 −30%)을 한참 넘습니다.

그리고 로지가 도그 파크에서 토끼를 보고 울타리를 뛰어넘었습니다.

좋은 이야기입니다. 그리고 이 강의의 마지막 일은 이 이야기로 무엇을 말해도 되는지 정하는 것입니다.

고등학생좋은 결과와 좋은 증거는 다르다

6주 뒤 종양이 절반이 됐습니다. 로지가 울타리를 뛰어넘었습니다. 기쁜 일입니다.

그런데 이 강은 "그래서 뭘 말해도 되나" 를 따집니다.

이게 왜 중요한가 — 냉정해 보이는데요

만약 이 이야기만 보고 "mRNA 백신이 개 암을 고친다" 고 믿는 사람이 늘면, 돈을 내고 효과 없는 시술을 받는 사람이 생깁니다. 아픈 반려동물을 둔 사람은 지푸라기라도 잡고 싶으니까요.

그러니 말할 수 있는 것과 없는 것을 구별하는 일은 냉정한 게 아니라 친절한 것입니다.

희망을 꺾는 게 아니라, 근거 없는 희망에 돈을 쓰지 않게 하는 것입니다

말할 수 있는 것

이건 말해도 된다

· 공개 도구와 상용 서비스만으로 이 파이프라인을 한 사람이 굴릴 수 있다
· 개 종양에서 알려진 드라이버 변이를 찾아냈다
· 구조 분석이 이미 알려진 약제 내성을 설명해 냈다
· 개의 DLA 를 넣어 신생항원을 예측할 수 있었다
· 그 서열로 mRNA 를 합성하고 LNP 에 넣는 데 성공했다
· 이 개에게서 6주 뒤 종양이 작아진 것이 관찰되었다

이건 말하면 안 된다

· "mRNA 백신이 효과가 있다"
· "이 방법으로 개의 비만세포종을 치료할 수 있다"
· "백신 때문에 종양이 줄었다"
· "사람에게도 통할 것이다"
· "AlphaFold 로 변이의 효과를 예측할 수 있다"

오른쪽 항목들이 틀렸다는 게 아닙니다. 이 이야기가 그것을 뒷받침하지 못한다는 것입니다.

고등학생네 가지 이유를 한마디씩으로

문제	한마디로
n = 1	딱 한 마리. 우연인지 알 수 없음
대조군 없음	안 맞았으면 어땠을지를 모름
여러 개를 동시에 함	수술·항암제·백신 중 뭐가 효과냈는지 모름
6주는 짧음	크기가 줄어든 것 ≠ 오래 사는 것

'대조군 없음' 을 학교 이야기로 바꾸면

새 문제집을 풀고 시험 성적이 올랐습니다. 문제집 덕분일까요?

확인할 것	왜
시험이 원래 쉬웠나	반 평균도 같이 올랐다면 문제집 덕이 아님
다른 것도 같이 했나	학원도 옮기고 잠도 늘렸다면 뭐 덕인지 모름
한 번뿐인가	다음 시험에서도 오르는지 봐야 함

똑같은 물음입니다. 대상이 종양이냐 성적이냐만 다릅니다.

왜 그런가 — 네 가지 이유

	문제	무엇이 막히나
1	n = 1	개 한 마리입니다. 우연히 좋아진 것과 구별할 방법이 없습니다
2	대조군 없음	백신을 안 맞은 로지가 어떻게 됐을지 아무도 모릅니다. 비만세포종은 저절로 느려지거나 줄어드는 일도 있습니다
3	동시에 여러 가지를 했다	수술·항암제·백신·시간이 겹쳐 있습니다. 무엇이 효과를 냈는지 가를 수 없습니다
4	6주는 짧다	종양 크기는 대리 지표입니다. 오래 사는지는 다른 물음입니다

한 사례는 가능성을 보이지, 효능을 보이지 않는다

이 구별이 이 강의의 마지막 교훈입니다. 그리고 이건 mRNA 백신 이야기만의 문제가 아닙니다 — 모든 성공 사례가 같은 한계를 갖습니다.

가장 강한 편향 — 우리는 실패한 이야기를 듣지 못한다

같은 시기에 같은 시도를 한 사람이 여럿 있었다고 해 봅시다. 그중 안 된 사람의 이야기는 소설이 되지 않습니다. 웹사이트도 생기지 않습니다.

우리가 이 이야기를 아는 것 자체가 결과가 좋았기 때문입니다. 그러니 "이 방법이 통하는가" 를 이 이야기로 판단하면 순환이 됩니다.

이걸 생존자 편향이라고 부릅니다. 학교 생활에도 그대로 옮겨집니다 — "이 공부법으로 성적이 올랐다" 는 후기 백 개를 읽어도, 같은 방법으로 안 오른 사람들이 글을 안 썼다면 아무것도 알 수 없습니다.

고등학생우리는 실패한 이야기를 듣지 못한다

같은 시기에 같은 시도를 한 사람이 열 명 있었다고 해 봅시다. 그중 아홉 명은 실패했습니다.

그 아홉 명의 이야기는 어떻게 됐을까요

소설이 되지 않습니다. 웹사이트도 안 생깁니다. 우리는 듣지 못합니다.

즉 우리가 이 이야기를 아는 것 자체가 결과가 좋았기 때문입니다. 그러니 이 이야기로 "이 방법이 통하는가" 를 판단하면 말이 빙빙 돕니다.

학교에서 똑같이 일어납니다

보이는 것	안 보이는 것
"이 공부법으로 1등급 됐어요" 후기 100개	같은 방법으로 안 된 사람 1000명
성공한 유튜버의 조언	같은 방식으로 망한 채널 수만 개

이걸 생존자 편향이라고 합니다. 후기를 백 개 읽어도, 안 된 사람이 글을 안 썼다면 아무것도 알 수 없습니다.

"성공 사례가 많다" 는 "성공률이 높다" 와 완전히 다른 말입니다

소설이 극화한 대목 — 작가가 스스로 밝힌 것

『코딩 포 로지』의 작가 후기에 이런 문장이 있습니다.

"기술적 내용 — 전체 게놈 시퀀싱, GATK Mutect2에 의한 소매틱 배리언트 콜링, AlphaFold2를 이용한 단백질 구조 예측, OpenMM 분자 동역학 시뮬레이션, pVAC-Seq를 이용한 신생항원 예측, N1-메틸슈도유리딘을 이용한 IVT, SM-102 기반 LNP 제조, 엔도솜 탈출 기전 — 은 모두 현재 과학 문헌에 기반한 것이다.

다만 LNP의 첫 번째 배치 실패와 SM-102로의 교체라는 극적 위기는, 실제 LNP 개발 과정에서 흔히 발생하는 문제를 극화하여 재구성한 허구의 에피소드임을 밝혀둔다."

즉 16~18강에서 다룬 위기 자체는 지어낸 것입니다. 다만 그 안의 화학과 물리는 실제입니다 — pKa 도, 엔도솜 산성화도, PDI 도.

이것도 배울 점입니다. 구체적인 서사와 그 서사가 담고 있는 원리는 다른 층위입니다. 위기가 지어낸 것이라고 해서 pKa 6.68 이나 겉보기 pKa 라는 개념이 틀린 것은 아닙니다. 반대로, pKa 가 맞다고 해서 그 위기가 실제로 있었던 것도 아닙니다.

스무 강을 한 줄씩

강	이 강에서 정해지는 것	다르게 정하면
3	참조 게놈과 커버리지	옛 참조를 쓰면 가짜 변이가 쏟아진다
4	정상 샘플을 쓸 것인가	안 쓰면 자기 유전체를 표적으로 삼는다
5	어떤 consequence 를 남길 것인가	synonymous 를 남기면 새 펩타이드가 없다
6	드라이버를 어떻게 고를 것인가	DB 에만 의존하면 새 표적을 놓친다
8	RMSD 를 어느 구간에서 잴 것인가	전체만 재면 3.87 Å 이 안 보인다
11	DFG-in 문턱을 어디에 그을 것인가	94.3% 가 다른 숫자가 된다
12	IC50 문턱 500 nM	MHC 형마다 분포가 달라 %Rank 가 더 낫다
13	링커를 넣을 것인가	안 넣으면 이음매에 가짜 표적이 생긴다
14	CAI 를 얼마까지 올릴 것인가	1.0 에 가까이 가면 5' 구조가 번역을 막는다
16	겉보기 pKa 를 몇으로 할 것인가	6.68 은 너무 일찍 켜진다 — 6.41 로 내렸다
17	유량비 · 온도 · PEG 비율	210 → 91 → 88 nm 가 갈린다
18	무엇으로 '됐다' 고 판정할 것인가	QC 를 다 통과하고도 세포에서 실패할 수 있다

강마다 결정이 하나씩 있었습니다. 그리고 어느 것도 정답이 하나가 아니었습니다.

이 강의에서 하나만 가져간다면

소설을 읽다가 낯선 낱말을 만났을 때 물어야 할 것은 "이게 무슨 뜻이지" 가 아닙니다. 그건 검색하면 나옵니다.

물어야 할 것은 "이 자리에서 무엇이 결정되었고, 다르게 결정했으면 무엇이 뒤집혔을까" 입니다.

RMSD 3.87 Å 은 구간을 나눠서 쟀기 때문에 나온 숫자입니다. 94.3% 는 문턱을 105° 로 그었기 때문에 나온 숫자입니다. 91 nm 는 PEG 를 1.5% 로 했기 때문에 나온 숫자입니다.

모든 숫자 뒤에는 사람이 내린 결정이 있습니다. 그 결정을 볼 수 있게 되면 논문도 소설도 같은 방식으로 읽힙니다.

가정한 변동폭에 따라 답이 달라집니다. 그래서 그 분포를 '가정' 하지 않고 '측정' 하려고 대조군을 둡니다.

Python 브라우저에서 실행

# 마지막으로 -- 대조군이 없다는 것이 왜 그렇게 심각한지, 숫자로 느껴 봅니다.
import numpy as np

rng = np.random.default_rng(7)
N = 20000

# 비만세포종은 치료 없이도 크기가 오르내립니다. 그 변동폭을 가정해 봅니다.
# (실제 값이 아니라 '자연 변동만으로도 절반이 될 수 있는가' 를 보는 계산입니다)
natural = rng.lognormal(mean=0.0, sigma=0.45, size=N)     # 6주 뒤 크기 배수

print(f"치료 없이 6주 뒤 크기 배수의 분포")
for q in (10, 25, 50, 75, 90):
    print(f"   {q:>2}분위수: {np.percentile(natural, q):.2f} 배")
print()
half_or_less = (natural <= 0.5).mean()
print(f"치료 없이도 절반 이하가 될 확률: {half_or_less*100:.1f}%")
print()
print(f"개 {int(1/half_or_less)} 마리 중 한 마리는 아무것도 안 해도 이만큼 줄어듭니다.")
print("그러니 한 마리에서 절반이 된 것은 -- 놀랍지만 증거는 아닙니다.")
print()
print("대조군이 하는 일이 정확히 이것입니다:")
print("  '가만히 뒀을 때의 분포' 를 실제로 재서, 우리 결과가 그 분포의 어디쯤인지 보여 주는 것.")

고등학생위 코드가 방금 무슨 일을 했나요

"치료를 안 했을 때 6주 뒤 종양 크기가 어떻게 변하는가" 를 가상의 분포로 만들어 보고, 가만히 둬도 절반 이하가 될 확률을 계산했습니다.

결과가 놀랍습니다

가정한 변동폭에서는 몇 마리 중 한 마리는 아무것도 안 해도 종양이 절반 이하가 됩니다.

그러니 "한 마리에서 절반이 됐다" 는 것은 놀랍지만 증거는 아닙니다.

그래서 대조군이 하는 일이 뭔가

이 분포를 '가정' 하지 않고 '실제로 재는' 것입니다.

백신 안 맞은 개 스무 마리를 같이 지켜보면, 그 스무 마리의 결과가 "가만히 뒀을 때의 분포" 가 됩니다. 그러면 우리 결과가 그 분포의 어디쯤인지 바로 알 수 있습니다.

대조군은 비교 대상이 아니라, '우연의 크기' 를 재는 자입니다

이 강의에서 마지막으로 가져갈 것이 이 문장입니다. 수행평가 보고서를 쓸 때도, 뉴스를 볼 때도 똑같이 씁니다.

🤔 확인 문제

로지의 종양이 6주 뒤 절반이 되었습니다. 이것으로 '백신이 효과가 있다' 고 결론 내릴 수 없는 가장 근본적인 이유는?

🤔 확인 문제

『코딩 포 로지』 작가가 후기에서 '허구'라고 밝힌 대목은?

🤔 확인 문제

이 강의를 마친 뒤, 어떤 논문이나 이야기에서 '이 방법으로 종양이 줄었다'는 문장을 만났을 때 가장 먼저 물어야 할 것은?