10강 / 20강

보정 — 0.9 라고 한 것이 정말 0.9 인가

잘 맞히는 것과 확률이 맞는 것은 다르다

모형이 "이 환자는 재발 확률 0.9" 라고 합니다. 그렇게 말한 환자 100명을 모으면 정말 90명이 재발할까요?

안 그런 경우가 아주 많습니다. 그리고 AUC 가 높아도 그렇습니다 — 순위만 잘 매기면 AUC 는 높거든요.

순위가 맞는 것 ≠ 확률이 맞는 것

고등학생잘 맞히는 것과 확률이 맞는 것은 다르다

미묘하지만 중요한 구분입니다.

성질	묻는 것
변별력	양성과 음성을 가르나 — AUC
보정	"0.9" 가 정말 90% 인가

순위는 완벽한데 확률은 틀릴 수 있다

8강의 예를 다시 보면

모형	양성에게	음성에게	AUC	보정
A	0.9	0.1	1.0	좋을 수도
B	0.51	0.49	1.0	나쁘다

B 는 "51% 확률" 이라 하지만 실제로는 거의 확실하다

왜 보정이 중요한가

쓰임	필요한 것
순위를 매겨 상위 N개	변별력만 ✔
환자에게 설명	보정 ⭐
기대값 계산	보정 ⭐
다른 모형과 합치기	보정

"이 환자는 30% 확률로 재발합니다" 는 보정이 맞아야 할 수 있는 말

비유 — 일기예보

"비 올 확률 70%" 라고 한 날들을 모아 보면 정말 70% 정도 비가 와야 합니다.

예보	실제 강수	판정
70% 라고 한 날들	70%	보정 좋음 ✔
70% 라고 한 날들	30%	과신 ⚠

순서가 맞아도 숫자가 틀리면 결정에 못 쓴다

AUC 가 <b>똑같은데</b> 확률은 전혀 다릅니다. 순위와 확률은 다른 이야기예요.

Python 브라우저에서 실행

# AUC 는 그대로인데 확률은 엉망일 수 있다
import numpy as np
rng = np.random.default_rng(101)

N = 20000
y = (rng.random(N) < 0.3).astype(int)
raw = 1/(1 + np.exp(-(rng.normal(0, 1, N) + y*1.8)))     # 잘 보정된 점수

def auc(y, s):
    o = np.argsort(-s); yy = y[o]
    tp = np.cumsum(yy); fp = np.cumsum(1-yy)
    x = np.concatenate([[0], fp/(1-yy).sum()])
    t = np.concatenate([[0], tp/yy.sum()])
    return float(np.sum(np.diff(x) * (t[:-1] + t[1:]) / 2))

# 순위를 그대로 두고 값만 찌그러뜨린다
squash = 0.5 + (raw - 0.5) * 0.3          # 전부 0.5 쪽으로 모은다
stretch = np.clip(0.5 + (raw - 0.5) * 2.5, 0.001, 0.999)   # 전부 양끝으로 민다

print(f"{'':10} {'AUC':>8}   말한 확률과 실제 비율의 차이(평균)")
for name, s in [("원래", raw), ("찌그러뜨림", squash), ("늘림", stretch)]:
    # 열 구간으로 나눠 말한 확률과 실제 비율을 견준다
    bins = np.clip((s*10).astype(int), 0, 9)
    gap = 0.0
    for b in range(10):
        m = bins == b
        if m.sum() < 20: continue
        gap += abs(s[m].mean() - y[m].mean()) * m.sum()
    print(f"{name:10} {auc(y, s):8.4f}   {gap/N:.4f}")
print()
print("AUC 는 셋이 똑같다 - 순위를 하나도 안 바꿨으니까.")
print("그런데 '말한 확률' 은 완전히 달라졌다.")
print()
print("확률을 그대로 쓸 것이라면(위험도 계산, 기대비용) AUC 만으로는 부족하다.")

고등학생보정이 깨지는 흔한 이유

어떤 모형이 보정이 나쁜지 알아 둡시다.

모형	보정	왜
로지스틱 회귀	대체로 좋다 ✔	확률을 직접 최적화
랜덤 포레스트	양 끝으로 눌린다	투표 비율이라 0·1 에 안 간다
SVM	확률이 아니다	거리를 낸다
부스팅	과신하는 경향	—

확률을 목표로 학습한 모형만 보정이 자연스럽다

그리고 조작하면 깨집니다

조작	보정에
표본 조정 (17강)	깨진다 ⚠ — 비율을 바꿨으니
클래스 가중치	깨진다
합성 표본 (SMOTE)	깨진다

17강의 기법들이 확률의 뜻을 바꾼다 — 반드시 다시 보정해야 한다

비유 — 저울의 영점

저울이 순서는 잘 맞힙니다. 무거운 것이 무겁다고 나오죠.

그런데 영점이 5kg 어긋나 있으면?

쓰임	괜찮나
둘 중 무거운 것 고르기	괜찮다 ✔
몇 kg 인지 말하기	틀린다 ⚠

순위는 맞고 값은 틀린 상태 — 그게 보정 문제다

언제 보정이 중요한가

순위만 필요할 때

후보를 위에서부터 골라 실험한다
→ 보정이 안 되어도 괜찮다. /viper·/diggit 이 그렇다

확률 자체를 쓸 때

환자에게 "재발 확률 20%" 라고 말한다
기대비용을 계산해 결정한다
→ 보정이 안 되면 못 쓴다

임상에 들어가는 예측 모형이 보정 곡선을 반드시 싣는 이유입니다. AUC 만 적힌 예측 모형 논문은 절반만 보여 준 셈이에요.

고등학생보정은 고칠 수 있다

note 의 이 말이 다행스러운 소식입니다.

변별력은 그대로 두고 확률만 고칠 수 있다

어떻게 하나

모형의 출력을 진짜 확률로 바꾸는 함수를 하나 더 배웁니다.

방법	어떤 함수	필요 자료
플랫 스케일링	로지스틱 곡선	적어도 된다
등위 회귀	단조 증가 계단	많이 필요

둘 다 순서를 바꾸지 않는다 — 그래서 AUC 는 그대로다

⚠ 반드시 지킬 것

보정용 자료는 따로 둔다 — 훈련 자료로 하면 안 된다

훈련 자료에서는 모형이 이미 잘 맞히므로 "이 모형은 잘 보정돼 있다" 는 잘못된 결론이 나옵니다.

보정 자료	결과
훈련 자료	과신을 못 잡는다 ⚠
따로 둔 조각	제대로 고쳐진다 ✔

4강·6강·9강에서 같은 규칙이 또 나왔다 — 이 강의의 반복 주제다

확인하는 법 — 보정 곡선

예측 확률을 구간별로 묶고 각 구간의 실제 양성 비율을 그립니다.

모양	진단
대각선	보정 좋음 ✔
대각선 아래	과신 — 실제보다 높게 말한다
대각선 위	과소 — 낮게 말한다

그림 하나로 확률을 믿어도 되는지 를 판단한다

🤔 확인 문제

AUC 0.85 인 모형 둘이 있습니다. A 는 보정 곡선이 대각선에 붙어 있고 B 는 크게 벗어납니다. 환자에게 재발 확률을 알려 주는 용도라면?