12강 / 20강

【실습】 예측 지표 셋을 같은 자료로 채점한다

정답을 어디서 가져오나 · 그리고 이것이 왜 진짜 채점이 아닌가

지표를 견주려면 정답이 있어야 합니다. 그런데 우리에게는 "이 환자가 면역치료에 반응했는가" 자료가 없습니다.

그러면 무엇으로 채점할까요?

있는 것으로 해 봅시다 — 그리고 그것이 무엇이 아닌지를 반드시 함께 적습니다.

고등학생채점을 하려면 정답이 있어야 한다

예측 지표 셋을 비교하려면 무엇을 예측하는지 가 정해져야 한다. 그리고 그 정답을 알고 있어야 한다.

진짜 정답은 무엇인가

면역치료 반응 예측이라면 정답은 실제 치료받은 환자가 반응했는지 다. 그런데 우리 자료(TCGA)에는 그 정보가 없다. 대부분 면역치료가 나오기 전에 모은 자료다.

필요한 것	우리 자료에
면역치료를 받았는가	없음
반응했는가	없음
발현 · 변이 자료	있음
병리 슬라이드	있음

정답이 없는 자료로는 예측 성능을 채점할 수 없다 — 이것이 출발점이다

정답지의 출처를 먼저 적습니다. 어디서 왔는지 모르는 정답은 정답이 아니에요.

Python 브라우저에서 실행

# 자료를 잇는다
import cp

j = cp.joined()
F = cp.facts()["link"]
print(f"발현 · TMB · TIL 이 모두 있는 표본 {len(j):,}개")
print(f"  TMB 결측 {F['tmb_na']}개")
print()
print("TMB 출처:", F["src_tmb"])
print("TIL 출처:", F["src_til"])
print()
print("TIL (H&E 에서 센 림프구 면적 %)")
q = j["TIL"].quantile([0, .25, .5, .75, 1]).round(2)
print(f"  최소 {q[0]}  1사분위 {q[0.25]}  중앙값 {q[0.5]}  3사분위 {q[0.75]}  최대 {q[1]}")

고등학생그래서 대리 정답을 쓴다

이 실습에서는 H&E 슬라이드에서 병리학자가 센 TIL(종양 침윤 림프구) 비율을 정답으로 쓴다.

이것이 왜 그럴듯한가

6강의 세 전제 중 하나 — T세포가 종양 안에 들어와 있는가. TIL 비율은 그것을 직접 센 값이다. 그리고 TIL 이 많은 종양이 면역치료에 잘 반응하는 경향은 여러 연구에서 확인되었다.

대리 지표의 장점	한계
독립적으로 측정됨 (사람이 눈으로)	반응 자체는 아님
발현 자료와 다른 출처	주관이 들어감
모든 표본에 있음	림프구의 종류를 구분 못 함

대리 지표를 쓸 때는 그것이 무엇의 대리인지 명시해야 한다

문턱을 고르고, 고른 사실을 적는 것. 근거가 없으면 없다고 씁니다.

Python 브라우저에서 실행

# 정답을 정한다 - 문턱은 우리가 고른다
import cp

j = cp.joined()
print("'면역이 뜨겁다' 를 어떻게 정할까 - 문턱을 옮겨 본다")
print(f"{'상위':>8}{'문턱 TIL%':>12}{'뜨거움':>9}{'차가움':>9}")
for q in [0.5, 0.667, 0.75, 0.9]:
    t = j["TIL"].quantile(q)
    n = int((j["TIL"] >= t).sum())
    print(f"{100*(1-q):>7.0f}%{t:>12.2f}{n:>9,}{len(j)-n:>9,}")
print()
print("이 강의는 **상위 3분의 1** 을 뜨겁다고 부르겠습니다.")
print("특별한 근거는 없습니다 - **우리가 고른 것**이고, 그래서 적어 둡니다.")
print("15강에서 이 선택이 결과를 얼마나 바꾸는지 다시 봅니다.")

이제 순위가 나옵니다. 그런데 그 순위를 어떻게 읽어야 할까요?

Python 브라우저에서 실행

# 세 지표를 같은 자료로 채점한다
import cp
import pandas as pd

j = cp.joined()
뜨 = (j["TIL"] >= j["TIL"].quantile(2/3)).astype(int)

지표 = {
    "PD-L1 (CD274 하나)": j["CD274"],
    "PD-1 (PDCD1 하나)": j["PDCD1"],
    "TMB": j["TMB"].fillna(j["TMB"].median()),
    "GEP (18유전자)": cp.gep(df=j),
}
행 = []
for 이름, s in 지표.items():
    행.append({"지표": 이름, "AUC": round(cp.auc(s, 뜨), 4)})
T = pd.DataFrame(행).sort_values("AUC", ascending=False)
print(T.to_string(index=False))
print()
print(f"정답: TIL 상위 3분의 1 = 뜨거움 ({int(뜨.sum()):,} / {len(j):,})")
print("0.5 는 동전 던지기입니다.")

고등학생채점 방법 — AUC 와 상관

지표가 정답을 얼마나 잘 맞히는지 재는 방법이 몇 가지 있다.

방법	쓰는 상황	읽는 법
상관계수	정답이 연속값일 때	1에 가까울수록 좋음
AUC	정답이 이분형일 때	0.5 = 동전 던지기, 1.0 = 완벽

AUC 를 직관적으로

정답이 양성인 표본 하나와 음성인 표본 하나를 무작위로 뽑았을 때, 양성 쪽의 점수가 더 높을 확률 이 AUC 다.

AUC 0.7 이면 열 쌍 중 일곱 쌍에서 순서를 맞힌다는 뜻이다. 문턱을 정하지 않고도 성능을 잴 수 있다는 것이 장점이다. 10강에서 본 "어디를 자르는가" 문제를 우회한다.

AUC 는 순서를 매기는 능력을 잰다 — 문턱과 무관하게

직관이 빗나가는 자리. 합치면 낫다는 흔한 믿음을 자료로 확인합니다.

Python 브라우저에서 실행

# 지표를 합치면 나아지나 - 11강의 '안 겹친다' 를 확인
import cp
import numpy as np

j = cp.joined()
뜨 = (j["TIL"] >= j["TIL"].quantile(2/3)).astype(int)
z = lambda x: (x - x.mean()) / x.std()

gep = cp.gep(df=j)
tmb = j["TMB"].fillna(j["TMB"].median())
합 = z(gep) + z(tmb)

for 이름, s in [("GEP 만", gep), ("TMB 만", tmb), ("GEP + TMB", 합)]:
    print(f"  {이름:<14}AUC {cp.auc(s, 뜨):.4f}")
print()
print(f"둘의 순위상관 {gep.corr(tmb, method='spearman'):.3f} - 약합니다. 거의 다른 것을 재요.")
print()
print("그런데 합쳐도 GEP 혼자보다 나아지지 않습니다.")
print("**안 겹친다고 해서 합치면 좋아지는 것은 아닙니다** -")
print("TMB 가 재는 것이 이 정답(TIL)과는 상관이 약하기 때문이에요.")
print()
print("정답을 바꾸면 결론도 바뀝니다. 그래서 **정답이 무엇이냐가 결정적**입니다.")

이것은 면역치료 반응 예측 채점이 아닙니다

방금 잰 것은 "이 지표가 조직에 림프구가 많은지를 맞히나" 입니다. "이 환자가 약에 반응하나" 가 아니에요. 둘은 다릅니다.

왜 다른가 —
① 림프구가 많아도 일을 안 할 수 있습니다 (소진 · 배제).
② 림프구가 적어도 풀면 늘어날 수 있습니다.
③ 반응은 종양 부담 · 이전 치료 · 장내미생물 등 다른 것에도 달렸습니다.

그래서 위 표의 AUC 를 "이 지표의 예측력" 이라고 옮겨 적으면 안 됩니다. "림프구 침윤을 맞히는 능력" 이라고 정확히 써야 합니다.

진짜 채점을 하려면 반응이 기록된 환자 코호트가 필요합니다. 우리는 그것을 가지고 있지 않고, 가지고 있지 않다고 적는 것이 이 강의가 하는 일입니다.

고등학생이것은 면역치료 반응 예측 채점이 아니다

실습이 끝나면 지표별 점수가 나온다. 그런데 그것이 무엇을 뜻하는지 정확히 말해야 한다.

말할 수 있는 것	말할 수 없는 것
이 지표가 TIL 비율을 얼마나 잘 예측하나	이 지표가 치료 반응을 얼마나 잘 예측하나
지표들 사이의 상대적 순위	임상에서 어느 것을 써야 하나
암종에 따라 달라지는 정도	특정 환자의 치료 결정

왜 이 구분을 이렇게 강조하나

이런 종류의 혼동이 실제 논문에서 자주 일어나기 때문이다. 대리 지표로 채점해 놓고 결론에서는 진짜 지표를 말하는 경우.

글의 앞에서는 "TIL 예측 성능" 이라고 정확히 쓰고, 초록과 제목에서는 "면역치료 반응 예측" 이라고 쓴다. 독자는 초록만 읽는다.

대리 정답으로 낸 결론은 대리 결론이다 — 승격시키지 않는다

🤔 확인 문제

발현으로 만든 지표를 H&E TIL 로 채점하는 것이 같은 발현 자료로 채점하는 것보다 나은 이유는?

🤔 확인 문제

GEP 와 TMB 의 상관이 낮은데도 합치면 나아지지 않은 것을 어떻게 읽어야 하나요?

🤔 확인 문제

이 실습의 AUC 를 옮겨 적을 때 정확한 표현은?