9강 / 20강

문턱 — 확률을 예·아니오로 바꾸는 자리

0.5 는 아무 근거가 없다

모형이 0.63 을 내놓았습니다. 양성일까요 음성일까요?

기본값이 0.5 라서 많은 사람이 그냥 0.5 를 씁니다. 그런데 0.5 에는 아무 근거가 없습니다 — 두 실수의 비용이 같을 때만 맞는 값이에요.

고등학생0.5 는 아무 근거가 없다

모형은 확률을 냅니다. 0.73 처럼요. 그런데 결정은 예/아니오 여야 하죠.

어디서 자를 것인가 — 그게 문턱이다

왜 0.5 가 근거가 없나

0.5 는 두 오류의 비용이 같을 때 최적입니다. 그런데 같은 경우가 거의 없어요.

문제	FP 비용	FN 비용
암 선별 검사	추가 검사	암을 놓친다 ⚠
스팸 분류	중요 메일 유실 ⚠	스팸 하나
대출 승인	기회 손실	돈을 떼인다

비용이 다르면 문턱도 달라야 한다

방향을 정리하면

더 아픈 것	문턱	결과
FN (놓치는 것)	낮춘다	많이 잡는다 — 재현율 ↑
FP (헛짚는 것)	올린다	확실할 때만 — 정밀도 ↑

암 선별은 문턱을 낮게, 확진은 높게

비유 — 공항 보안 검색

단계	문턱	왜
금속 탐지기	낮다	놓치면 안 되니까 — 삐 소리가 자주 난다
정밀 검사	높다	확실한 것만

1차는 넓게, 2차는 좁게 — 단계마다 문턱이 다르다

모형은 그대로입니다. 바뀐 것은 <b>자르는 자리</b>뿐이에요.

Python 브라우저에서 실행

# 문턱을 옮기면 무엇이 맞바뀌나
import numpy as np
rng = np.random.default_rng(91)

N = 4000
y = (rng.random(N) < 0.10).astype(int)          # 양성 10%
score = 1/(1 + np.exp(-(rng.normal(0, 1, N) + y*2.0)))

print("  문턱    찾아냄  놓침   헛짚음   정밀도   재현율")
for t in [0.10, 0.20, 0.30, 0.50, 0.70, 0.90]:
    pred = score >= t
    tp = int((pred & (y==1)).sum()); fn = int((~pred & (y==1)).sum())
    fp = int((pred & (y==0)).sum())
    prec = tp/(tp+fp) if tp+fp else float("nan")
    rec = tp/(tp+fn) if tp+fn else 0
    print(f"  {t:.2f}  {tp:7d} {fn:6d} {fp:8d}   {prec:6.3f}  {rec:6.3f}")
print()
print("문턱을 내리면 더 찾고 더 헛짚는다. 올리면 그 반대다.")
print("모형은 하나도 안 바뀌었다 - 바뀐 것은 자르는 자리뿐이다.")
print()
print("그래서 논문에 AUC 만 적혀 있으면 '실제로 쓸 때 어떻게 되는지' 를 알 수 없다.")
print("쓰려면 문턱을 정해야 하고, 문턱을 정하려면 비용을 정해야 한다.")

고등학생문턱을 어떻게 정하나

근거 있게 정하는 세 가지 방법이 있습니다.

① 비용을 숫자로 넣는다

FP 와 FN 의 비용 비율을 정합니다.

판단	문턱
FN 이 FP 보다 10배 아프다	약 0.09 근처
같다	0.5

비용비를 정하면 수학이 문턱을 준다

② 운영 제약에서 역산한다

제약	정하는 법
"하루 100건만 검토 가능"	상위 100건이 되는 문턱
"재현율 90% 는 지켜야"	그 재현율의 문턱

현실의 처리 능력이 문턱을 정하는 경우가 실무에서 가장 흔하다

③ 지표를 최적화한다

지표	성격
F1	정밀도와 재현율의 조화평균
Youden J	민감도+특이도−1 의 최대

편하지만 비용을 같다고 가정한 것이다 — 근거는 약하다

비유 — 합격선 정하기

방법	기준
절대평가	"60점 이상" — 비용 기반
정원	"상위 100명" — 제약 기반 ⭐

뽑을 수 있는 인원이 정해져 있으면 점수가 아니라 등수가 기준이 된다

문턱을 정하는 세 가지 방법

방법	어떻게	언제
비용으로	놓침과 헛짚음의 비용을 정해 기대비용이 가장 작은 곳	가장 원칙적. 비용을 정할 수 있으면
필요 수준으로	"재현율 95% 는 되어야 한다" 를 못박고 그 지점	선별검사 · 규제 요건
용량으로	"실험할 수 있는 후보가 20개뿐" → 상위 20개	후보 고르기 — 이 사이트에서 가장 흔하다

세 번째가 /viper·/diggit 이 하는 일입니다. 점수로 순위를 매기고 위에서부터 실험할 수 있는 만큼 자릅니다 — 문턱을 통계가 아니라 예산이 정하는 거예요.

고등학생문턱도 훈련의 일부다

note 의 이 문장이 4강·16강과 이어집니다.

문턱을 시험 자료로 고르면 그것도 누출이다

흔한 실수

모형을 훈련한다
시험 자료에서 F1 이 가장 높은 문턱을 찾는다
그 문턱에서의 점수를 보고한다

시험 자료를 보고 조정했다 — 더 이상 시험이 아니다

올바른 순서

단계	자료
모형 훈련	훈련
문턱 결정	검증 ⭐
최종 평가	시험 — 고정된 문턱으로

문턱은 모형의 일부다 — 계수와 똑같이 다룬다

얼마나 부풀려지나

문턱은 연속적인 값이라 후보가 무한합니다. 그중 가장 좋은 것을 시험에서 고르면?

표본	부풀림
많다	작다
적다	크다 ⚠

3강의 표본이 적은 자료에서 특히 위험하다

비유 — 시험 후 커트라인 정하기

시험을 다 보고 나서 "내 점수가 합격이 되게" 커트라인을 정하면?

항상 합격한다 — 그리고 아무 의미가 없다

4강의 과녁 그리기가 여기서도 나타납니다. 이 강의에서 이 비유가 몇 번 나오는지 세어 보세요.

🤔 확인 문제

암 선별검사에 쓸 모형의 문턱을 정합니다. 놓치면 사람이 죽고, 헛짚으면 추가 검사를 합니다. 어느 쪽으로 옮겨야 할까요?

해설 놓침의 비용이 훨씬 큽니다. 문턱을 낮춰 재현율을 올리고, 늘어난 헛짚음은 확진 검사가 걸러 냅니다 — /epi 17강의 선별검사 구조입니다.