8강 / 20강

ROC 와 AUC — 문턱을 정하지 않고 재는 법

그리고 불균형 자료에서 AUC 가 속이는 방식

7강의 네 칸은 문턱을 정한 뒤에야 셀 수 있습니다. 그런데 모형이 내놓는 것은 대개 0과 1 사이의 점수예요.

문턱을 안 정한 채로 성능을 재려면? 모든 문턱에서 재어 곡선으로 그립니다.

문턱을 1 에서 0 까지 내리면서
   가로축  거짓양성률 FPR = FP/(FP+TN)     헛짚는 비율
   세로축  참양성률   TPR = TP/(TP+FN)     찾아내는 비율

문턱이 1 이면 아무것도 양성이라 안 한다 -> (0, 0)
문턱이 0 이면 전부 양성이라 한다        -> (1, 1)
그 사이를 잇는 곡선이 ROC 다

고등학생문턱을 정하지 않고 재는 법

7강의 네 칸은 문턱을 정한 뒤에야 셀 수 있습니다.

문턱을 바꾸면 네 칸이 전부 바뀐다

그래서 문제가 생깁니다

비교	공정한가
모형 A 를 문턱 0.5 로	불공정 — 문턱 탓일 수 있다
모형 B 를 문턱 0.3 으로	불공정 — 문턱 탓일 수 있다

모형의 순위 매기는 능력만 따로 재고 싶다

ROC 곡선의 발상

문턱을 0부터 1까지 전부 훑으면서 그때마다 두 값을 찍습니다.

축	값
세로	민감도 (진양성률)
가로	1−특이도 (위양성률)

모든 문턱의 결과를 한 그림에 담는다

AUC — 곡선 아래 넓이

AUC	뜻
0.5	동전 던지기
0.7	쓸 만하다
0.9	매우 좋다
1.0	완벽 — 의심하라 (16강)

AUC 의 뜻 — 양성 하나와 음성 하나를 뽑았을 때 양성 점수가 더 높을 확률

이 해석이 좋은 이유는 직관적이라서예요. "제대로 순위를 매길 확률" 인 거죠.

AUC 는 <b>양성에게 더 높은 점수를 줄 확률</b>입니다. 0.5 가 찍기예요.

Python 브라우저에서 실행

# ROC 곡선과 AUC 를 손으로 그린다
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(71)

def roc(y, score):
    order = np.argsort(-score)
    y = y[order]
    tp = np.cumsum(y); fp = np.cumsum(1 - y)
    tpr = tp / max(y.sum(), 1)
    fpr = fp / max((1 - y).sum(), 1)
    tpr = np.concatenate([[0], tpr]); fpr = np.concatenate([[0], fpr])
    # 사다리꼴 넓이를 직접 더한다 (np.trapz 는 numpy 판에 따라 이름이 다르다)
    auc = float(np.sum(np.diff(fpr) * (tpr[:-1] + tpr[1:]) / 2))
    return fpr, tpr, auc

fig, ax = plt.subplots()
for sep, lab in [(0.0, "구분 못 함"), (0.8, "약간"), (1.6, "꽤"), (3.0, "잘")]:
    n = 500
    y = rng.integers(0, 2, n)
    s = rng.normal(0, 1, n) + y * sep
    f, t, a = roc(y, s)
    ax.plot(f, t, label=f"{lab} (AUC {a:.3f})")
ax.plot([0, 1], [0, 1], "--", lw=.9, color="gray")
ax.set_xlabel("FPR"); ax.set_ylabel("TPR"); ax.legend(fontsize=8)
plt.show()

print("AUC 의 뜻: 무작위로 고른 양성 한 명과 음성 한 명을 놓고")
print("           양성에게 더 높은 점수를 줄 확률")
print()
print("  AUC 0.50  찍기와 같다")
print("  AUC 0.70  약하다")
print("  AUC 0.80  쓸 만하다")
print("  AUC 0.90+ 아주 좋다 - 그리고 정보 누출을 의심해 볼 값이다(16강)")

고등학생AUC 를 읽는 법

AUC 는 순위에 관한 지표입니다. 이 점이 장점이자 한계예요.

AUC 는 값이 아니라 순서만 본다

그래서 이런 일이 생깁니다

모형	양성 점수	음성 점수	AUC
A	0.9	0.1	1.0
B	0.51	0.49	1.0

둘 다 AUC 1.0 인데 확신의 정도가 전혀 다르다

B 는 아슬아슬하게 구별합니다. 자료가 조금만 달라져도 뒤집히죠.

그래서 10강의 보정이 따로 필요하다

AUC 가 좋은 이유

장점	설명
문턱과 무관	모형 자체를 잰다
비율과 무관	양성 비율이 달라도 같은 값
해석이 명확	"순위가 맞을 확률"

두 번째가 정밀도와 반대다 — 7강을 보라

비유 — 심사위원의 순위

노래 대회 심사에서 점수의 절대값보다 순위가 맞는지가 중요할 때가 있습니다.

심사위원	점수	순위
후한 사람	95, 92, 90	같다 ✔
박한 사람	70, 65, 60	같다 ✔

AUC 는 순위 일치를 잰다 — 점수 자체는 안 본다

고등학생불균형 자료에서 AUC 는 좋아 보인다

note 의 이 경고가 실무에서 자주 놓치는 함정입니다.

AUC 0.9 인데 실제로는 쓸 수 없는 경우가 있다

왜 그런가

AUC 의 가로축은 위양성률입니다. 음성이 아주 많으면 분모가 커서 이 값이 잘 안 올라가요.

음성 10,000명 중	위양성률
100명 잘못 잡음	1% — 그림에서 거의 안 보인다

그런데 양성이 100명 뿐이라면?

양성이라 한 것	수
진짜	90
가짜	100
정밀도	47% ⚠

AUC 는 훌륭한데 정밀도는 절반 이하

그래서 PR 곡선을 함께 봅니다

곡선	축	언제
ROC	민감도 vs 위양성률	균형 잡힌 자료
PR	정밀도 vs 재현율	불균형 자료 ⭐

PR 곡선은 진음성(TN)을 안 본다 — 그래서 안 속는다

많은 음성을 맞히는 것은 어렵지도 유용하지도 않은데 ROC 는 그걸 점수에 넣습니다.

비유 — 바늘 찾기

건초 더미에서 바늘을 찾습니다.

평가	말하는 것
ROC	"건초를 건초라고 잘 알아본다"
PR	"바늘이라 집은 것 중 몇 개가 바늘인가" ⭐

건초를 알아보는 건 쉽다 — 칭찬할 일이 아니다

17강에서 이 문제를 정면으로 다룬다

ROC-AUC 는 안 변하고 PR-AUC 만 떨어집니다. <b>드문 것을 찾을 때는 PR 을 보세요.</b>

Python 브라우저에서 실행

# 같은 모형, 같은 자료. 양성 비율만 바꾼다
import numpy as np
rng = np.random.default_rng(81)

def area(x, y):
    # 사다리꼴 넓이 - np.trapz 는 numpy 판에 따라 이름이 달라 직접 더한다
    return float(np.sum(np.diff(x) * (y[:-1] + y[1:]) / 2))

def roc_auc(y, s):
    o = np.argsort(-s); y = y[o]
    tp = np.cumsum(y); fp = np.cumsum(1 - y)
    return area(np.concatenate([[0], fp/max((1-y).sum(),1)]),
                np.concatenate([[0], tp/max(y.sum(),1)]))

def pr_auc(y, s):
    o = np.argsort(-s); y = y[o]
    tp = np.cumsum(y); k = np.arange(1, len(y)+1)
    return area(tp / max(y.sum(), 1), tp / k)

print("  양성 비율     ROC-AUC    PR-AUC    아무 정보 없을 때의 PR-AUC")
for frac in [0.50, 0.20, 0.05, 0.01]:
    N = 20000
    y = (rng.random(N) < frac).astype(int)
    s = rng.normal(0, 1, N) + y * 1.6      # 신호 세기는 늘 같다
    print(f"  {frac*100:8.1f}%    {roc_auc(y, s):7.3f}   {pr_auc(y, s):7.3f}   {frac:20.3f}")
print()
print("ROC-AUC 는 거의 안 변한다 - 신호가 같으니 당연하다.")
print("PR-AUC 는 뚝뚝 떨어진다 - '실제로 쓸 만한가' 를 반영하기 때문이다.")
print()
print("맨 오른쪽 칸이 기준선이다. PR-AUC 는 그 값과 견주어야 뜻이 생긴다.")

🤔 확인 문제

양성이 2% 인 자료에서 ROC-AUC 0.88 인 모형을 만들었습니다. 함께 봐야 할 것은?