18강 / 20강

선을 어디에 긋나 — 문턱과 환자 수

DepMap 24Q4 세포주 608개 · 문턱 −2.0 부터 0 까지

이 강의 내내 −0.5 를 썼습니다. '이 아래면 의존한다' 는 선이었죠. 그 선은 어디서 왔을까요. 관습입니다. 자연에 그런 선은 없습니다.

선을 옮기면 무엇이 달라지는지 봅시다.

고등학생선을 어디에 긋나

"MSI에서 필수"라고 하려면 점수가 얼마나 낮아야 할까요? 문턱을 정해야 합니다.

문턱	결과
−2.0 (엄격)	확실한 것만 · 놓치는 것 많음
−1.0	공통필수 수준
−0.5	많이 잡힘 · 약한 것도
0 (문턱 없음)	전부

문턱을 바꾸면 후보 수도 환자 수도 바뀝니다.

문턱을 −1.5 로 조이면 걸리는 11개가 전부 MSI 입니다. −0.1 로 풀면 그 비율이 14.5% 로 주저앉습니다.

Python 브라우저에서 실행

import wrn
import numpy as np

c = wrn.cells()
msi = c["msi"] == "MSI"
a = c.loc[msi, "WRN"].values
b = c.loc[~msi, "WRN"].values

print("문턱     MSI 걸림      MSS 걸림     정밀도")
for cut in [-1.5, -1.0, -0.75, -0.5, -0.3, -0.2, -0.1]:
    na, nb = int((a < cut).sum()), int((b < cut).sum())
    prec = 100 * na / (na + nb) if (na + nb) else 0
    print(str(cut).rjust(5),
          str(na).rjust(6), "/43", str(nb).rjust(7), "/565",
          str(round(prec, 1)).rjust(8) + "%")

고등학생문턱과 환자 수의 맞바꿈

같은 논리가 임상에도 적용됩니다. "얼마나 MSI여야 이 약을 쓸까?"

기준을 엄격하게	느슨하게
반응률이 높음	대상 환자가 많음
대상 환자가 적음	반응률이 낮아짐
임상시험이 작아짐	시장이 큼
확실한 효과	희석된 효과

바이오마커의 문턱은 과학적 결정이자 사업적 결정입니다.

두 가지 실수, 어느 쪽이 더 비싼가

선을 너무 왼쪽에

약이 들을 사람인데 놓칩니다
치료받을 수 있었던 환자가 못 받습니다

선을 너무 오른쪽에

약이 안 들을 사람에게 줍니다
부작용만 겪고 시험 성적도 나빠집니다

어느 쪽이 더 나쁜지는 자료가 정해 주지 않습니다. 대체 약이 있는지, 부작용이 얼마나 심한지, 병이 얼마나 급한지에 따라 달라집니다. 그건 의학적·윤리적 판단이지 통계적 판단이 아닙니다.

환자를 고르는 기준을 다듬는 것이 문턱을 옮기는 것보다 효과가 큽니다.

Python 브라우저에서 실행

# 15강의 교훈과 합치면 — 라벨을 다듬으면 선을 덜 조여도 됩니다.
import wrn

c = wrn.cells()
noheme = c[c["tissue"] != "Haematopoietic and Lymphoid"]

for name, d in [("전체", c), ("혈액 제외", noheme)]:
    msi = d["msi"] == "MSI"
    a, b = d.loc[msi, "WRN"].values, d.loc[~msi, "WRN"].values
    na, nb = int((a < -0.5).sum()), int((b < -0.5).sum())
    print(name.ljust(10),
          "MSI 중 걸림", str(na) + "/" + str(len(a)),
          "=", str(round(100 * na / len(a))) + "%",
          "  MSS 중 걸림", str(nb) + "/" + str(len(b)))

고등학생손잡이를 돌려 보기

문턱을 −2.0부터 0까지 바꿔 가며 무엇이 남는지 봅니다.

관찰	읽는 법
어느 문턱에서도 남는 유전자	튼튼한 후보
느슨할 때만 나타남	약한 신호 — 보류
엄격할 때만 나타남	드물지만 강함 — 확인 필요

문턱을 바꿔도 남는 것이 진짜 결론입니다.

조화평균이 가장 높은 자리가 두 실수를 똑같이 나쁘다고 볼 때의 최선입니다. 똑같이 나쁘지 않다면 그 자리도 답이 아닙니다.

Python 브라우저에서 실행

# 정밀도와 재현율을 한 표에 놓고 봅니다.
import wrn
import numpy as np

c = wrn.cells()
msi = c["msi"] == "MSI"
a, b = c.loc[msi, "WRN"].values, c.loc[~msi, "WRN"].values

print("문턱    정밀도   재현율   둘의 조화평균")
for cut in [-1.5, -1.0, -0.75, -0.5, -0.3, -0.15]:
    na, nb = int((a < cut).sum()), int((b < cut).sum())
    prec = na / (na + nb) if (na + nb) else 0
    rec = na / len(a)
    f1 = 2 * prec * rec / (prec + rec) if (prec + rec) else 0
    print(str(cut).rjust(5), str(round(100 * prec, 1)).rjust(8),
          str(round(100 * rec, 1)).rjust(8), str(round(f1, 3)).rjust(12))

F1 은 둘을 억지로 하나로 합친 값입니다. 편하지만, 두 실수의 값이 다르다는 사실을 지워 버립니다 — 그래서 답이 아니라 참고일 뿐입니다.

Python 브라우저에서 실행

# 정밀도와 재현율은 반대로 움직입니다. 한 표에 나란히 놓습니다.
import wrn

c = wrn.cells()
msi = c["msi"] == "MSI"
a = c.loc[msi, "WRN"].values
b = c.loc[~msi, "WRN"].values

print("문턱     정밀도   재현율   둘의 조화평균(F1)")
best = None
for cut in [-1.5, -1.2, -1.0, -0.8, -0.6, -0.5, -0.4, -0.3, -0.2]:
    tp = (a < cut).sum()
    fp = (b < cut).sum()
    prec = tp / (tp + fp) if tp + fp else 0
    rec = tp / len(a)
    f1 = 2 * prec * rec / (prec + rec) if prec + rec else 0
    print(f"{cut:5.1f}  {100*prec:7.1f}% {100*rec:7.1f}% {f1:12.3f}")
    if best is None or f1 > best[1]:
        best = (cut, f1)
print()
print("F1 이 가장 높은 문턱:", best[0])

고등학생결과를 보고할 때

적을 것	예
기본 문턱과 그 이유	"−1.0을 기준으로"
여러 문턱에서의 결과	민감도 분석
각 단계에서 몇 개가 남았나	흐름도
제외한 것과 이유	공통필수 1,247개 등

문턱을 명시하는 것이 재현 가능한 분석의 조건입니다.

🤔 확인 문제

의존 문턱을 −0.5 에서 −1.5 로 조이면 무슨 일이 일어납니까?

🤔 확인 문제

후보 유전자를 추릴 때와 환자를 고를 때 문턱의 방향이 반대인 이유는?