Lesson 16 of 20

왜 일부에게만 듣나 — 반응을 예측하는 자들

TMB · PD-L1 · TIL · 그리고 어느 것도 충분하지 않다는 사실

면역치료는 듣는 사람에게 극적입니다. 문제는 누가 그 사람인지 미리 아는 것이에요.

지금까지 승인되거나 널리 쓰이는 예측 지표는 셋입니다.

지표	재는 것	강점	약점
TMB	돌연변이 밀도	암종을 가리지 않고 쓸 수 있다 (FDA 승인)	표적이 많아도 진입·활성이 막히면 소용없다 (이 논문)
PD-L1	암세포·면역세포 표면의 PD-L1 양	약의 표적과 직접 관련	염색 항체·판정 기준이 검사마다 다르다. 시시각각 변한다
TIL	종양 안 림프구 수	'면역이 이미 붙었나' 를 직접 본다	세는 방법이 표준화되지 않았다. 상태를 못 본다 (11강)

셋 다 필요조건에 가깝지 충분조건이 아닙니다. 그래서 셋을 다 만족해도 안 듣는 환자가 있고, 셋 다 낮은데 듣는 환자가 있어요.

High school누가 들을지 미리 알 수만 있다면

면역치료는 듣는 사람에게 극적입니다. 문제는 누가 그 사람인지 미리 아는 거예요.

왜 미리 알아야 하나

안 들을 사람에게 주면 — 시간을 잃습니다. 그 사이 암이 자랍니다
부작용은 그대로 옵니다. 효과 없이 자가면역만 얻어요
약값이 아주 비쌉니다

그래서 바이오마커(예측 지표)를 찾습니다. 지금 널리 쓰이는 것이 셋인데, 셋 다 완벽하지 않습니다.

지표	재는 것	약점
TMB	돌연변이 밀도	표적이 많아도 못 들어가면 소용없다 (이 논문)
PD-L1	표면의 PD-L1 양	검사마다 기준이 다르다. 시시각각 변한다
TIL	종양 안 림프구 수	세는 법이 표준화 안 됨. 상태를 못 본다 (11강)

셋 다 필요조건에 가깝지 충분조건이 아니다

5강에서 배운 그 구별이 여기서 실전으로 나옵니다. 그래서 셋을 다 만족해도 안 듣는 환자가 있고, 셋 다 낮은데 듣는 환자도 있어요.

이게 얼마나 답답한 상황인지

시험 성적을 예측한다고 합시다. 출석률·숙제 제출률·모의고사 점수를 다 알아도 실제 성적을 잘 못 맞힌다면? 뭔가 중요한 것을 안 보고 있다는 뜻이죠.

그 '안 보고 있는 것' 을 찾는 게 이 논문을 포함한 지금 연구의 일입니다.

AUC 0.65 는 '두 환자를 뽑았을 때 반응자가 더 높은 점수를 받을 확률이 65%' 라는 뜻입니다.

Python Runs in your browser

# 지표가 얼마나 잘 가르는지 재는 법 - ROC 와 AUC
import imm
import numpy as np

rng = np.random.default_rng(3)
n = 400
반응 = np.r_[np.ones(120), np.zeros(280)]        # 30%가 반응한다고 하자

for 이름, 분리도 in [("아주 좋은 지표", 2.0), ("쓸 만한 지표", 1.0),
                     ("약한 지표", 0.4), ("쓸모없는 지표", 0.0)]:
    점수 = rng.normal(분리도 * 반응, 1.0)
    print(f"{이름:<14} AUC = {imm.auc(점수, 반응):.3f}")
print()
print("AUC 0.5 = 동전 던지기.  1.0 = 완벽.")
print("실제 TMB·PD-L1 의 AUC 는 대개 0.6~0.7 입니다 - '약한 지표' 와 '쓸 만한' 사이예요.")

High schoolAUC — 지표가 얼마나 쓸모 있는지 재는 자

AUC 라는 낯선 값이 나옵니다. 정의가 의외로 직관적이에요.

AUC = 두 사람을 뽑았을 때
반응자가 더 높은 점수를 받을 확률

읽는 법

AUC	뜻	비유
0.5	동전 던지기	아무 정보가 없다
0.6~0.7	약한 지표	있는 것보단 낫다
0.8~0.9	쓸 만하다	실제로 도움이 된다
1.0	완벽	현실에는 거의 없다

비유 — 키로 성별 맞히기

남녀 한 명씩 뽑아서 키만 보고 누가 남자인지 맞힌다고 합시다.

평균적으로 남자가 크니까 꽤 자주 맞힙니다 — AUC 가 0.5 보다 높다
그런데 키 큰 여자와 키 작은 남자도 많죠 — AUC 가 1.0 은 절대 안 된다

대략 0.8 쯤 나옵니다. 쓸모는 있지만 확신할 수는 없는 지표예요.

그런데 TMB·PD-L1 은 0.6~0.7 입니다

키로 성별을 맞히는 것보다 못합니다.

FDA 가 승인한 지표인데도 이 정도다

이게 이 분야의 현실입니다. 그리고 왜 이렇게 많은 연구자가 더 나은 바이오마커를 찾고 있는지 설명해 줍니다.

AUC 를 배워 두면 앞으로 "이 검사 정확도 90%!" 같은 말을 만났을 때 "AUC 는 얼마죠?" 라고 물을 수 있습니다. 정확도와 AUC 는 다른 값이고, 정확도는 훨씬 쉽게 부풀려집니다.

정의에 쓴 값으로 그 정의를 예측하면 언제나 잘 맞습니다 — 그것을 순환논증이라 합니다.

Python Runs in your browser

# 우리 자료로 - H&E TIL 이 '면역염증' 을 얼마나 잘 가르나
import imm

d = imm.cohort()
유형 = imm.classify(d)
# '면역염증' 을 양성으로 두고, TIL 값이 그것을 얼마나 잘 가르는지
양성 = (유형 == "면역염증").values
print(f"환자 {len(d):,}명 중 면역염증 {양성.sum():,}명")
print(f"  TIL 로 가른 AUC : {imm.auc(d.TIL.values, 양성):.3f}")
print()
print("당연히 높습니다 - TIL 로 '염증'을 정의했으니까요. 순환논증입니다.")
print()
# 순환하지 않는 물음 - TMB 는 면역염증을 예측하나?
tmb있음 = d.TMB.notna().values
print(f"  TMB 로 가른 AUC : {imm.auc(d.TMB.values[tmb있음], 양성[tmb있음]):.3f}")
print()
print("0.64 - 동전 던지기(0.5)보다는 낫지만 '약한 지표' 수준입니다.")
print("돌연변이가 많으면 면역이 조금 더 들어오기는 합니다. 조금뿐이에요.")
print("나머지를 설명하는 것이 이 논문의 일입니다.")

High school정의에 쓴 값으로 그 정의를 예측하기

위 코드가 일부러 틀린 분석을 하나 보여 줍니다. 아주 좋은 교육입니다.

틀린 분석

"TIL 값으로 면역염증을 얼마나 잘 예측하나?" → AUC 가 아주 높게 나옵니다.

훌륭한 결과 같죠? 아무 뜻이 없습니다.

면역염증을 TIL 로 정의해 놓고, TIL 로 그것을 예측했다

비유 — 장신의 정의

"키 180cm 이상을 장신이라고 하자" 고 정해 놓고, 키로 장신을 예측했더니 100% 맞았습니다.

대단한 발견인가요? 아니죠. 정의를 다시 말한 것뿐입니다. 아무것도 알아내지 않았어요.

이것을 순환논증이라고 한다

그럼 제대로 된 물음은

"TMB 로 면역염증을 예측할 수 있나?" 입니다. TMB 는 정의에 안 쓰였으니 순환하지 않아요.

결과는 AUC 0.64. 동전 던지기보다는 낫지만 약합니다.

돌연변이가 많으면 면역이 조금 더 들어오긴 한다 — 조금뿐이다

이 0.64 가 논문 전체와 이어집니다

5강의 Fig 1B 를 떠올려 보세요. TMB-H 안에서 사막과 염증의 TMB 가 다르지 않았죠. 같은 이야기를 다른 방식으로 확인한 겁니다.

그리고 이 강의에서 배울 것 —

분석 결과가 너무 좋으면 순환논증을 의심하라

수행평가에서도 마찬가지입니다. 결과가 완벽하게 나왔다면 내가 답을 미리 넣어 둔 건 아닌지 먼저 확인해 보세요.

TMB 가 침윤을 예측하지 못한다는 것

위 계산의 두 번째 AUC 가 0.636 입니다. 동전 던지기(0.5)보다는 낫지만, 임상에 쓰기에는 한참 약합니다. 돌연변이가 많으면 면역세포가 조금 더 들어오기는 하는데, 조금뿐이에요.

이것이 논문 Fig 1B 오른쪽 패널과 같은 이야기입니다 — TMB-H 안에서 사막과 염증의 TMB 가 다르지 않다(5강).

FDA 는 TMB 를 면역치료 반응의 지표로 승인했습니다. 그런데 반응의 앞 단계인 침윤조차 이만큼밖에 못 맞힌다면, TMB 가 잘 재는 것은 사슬의 맨 앞 고리 하나뿐입니다.

"표적이 있는가" 는 재지만 "싸움이 일어나는가" 는 못 재요. 그 사이를 메우는 것이 이 논문의 일입니다.

High school바이오마커 논문을 볼 때 쓸 체크리스트 셋

이 note 는 그대로 외워 두면 평생 쓰는 목록입니다.

① 순환논증

정의에 쓴 값으로 그 정의를 예측한다. 앞에서 본 그것입니다.

확인법 — "이 지표가 결과를 정의하는 데 쓰였나?" 를 묻는다.

② 문턱을 결과 뒤에 정한다

여러 문턱을 다 시험해 보고 가장 p값이 작은 것을 고른 뒤, 그것을 미리 정한 것처럼 보고합니다.

비유 — 벽에 총을 쏘고 나서 과녁을 그린다

실제로 이런 이름이 붙어 있습니다 — 텍사스 명사수의 오류. 총알 자국 주변에 과녁을 그리면 누구나 명중이죠.

확인법 — "왜 하필 이 문턱인가?" 를 묻는다. 앞선 연구에서 온 것인지, 이 자료에서 찾은 것인지.

③ 검증 코호트가 없다

같은 자료에서 문턱을 찾고 같은 자료에서 성능을 재면 성능이 늘 부풀려집니다.

시험 문제를 보고 공부한 뒤 그 시험을 보면 당연히 100점

실력을 재려면 안 본 문제로 재야 합니다. 연구에서는 다른 코호트(다른 병원, 다른 나라의 환자군)로 다시 재요.

확인법 — "다른 자료에서도 확인했나?" 를 묻는다.

셋 다 통과한 논문은 드뭅니다

겁주려는 게 아닙니다. 대부분의 바이오마커가 실제 임상에 못 들어가는 이유가 여기 있어요. 논문에서는 잘 맞았는데 병원에서는 안 맞습니다.

이 체크리스트는 뉴스에서 "○○로 암을 조기 진단" 같은 기사를 볼 때도 그대로 쓰입니다. 세 가지만 물어보세요.

🤔 Check yourself

AUC 0.5 가 뜻하는 것은?

🤔 Check yourself

'TIL 값으로 면역염증을 예측한다' 는 분석이 무의미한 이유는?

🤔 Check yourself

TMB 로 면역세포 침윤을 예측한 AUC 가 0.64 에 그친 것이 이 논문에 주는 뜻은?