Lesson 7 of 20

정확도 99% 짜리 쓸모없는 모형

혼동행렬 · 정밀도와 재현율

1,000명 중 10명이 병에 걸립니다. 여기 모형이 하나 있습니다 — 무조건 '아니다' 라고 답하는 모형이요.

정확도 = 990 / 1000 = 99%

쓸모는 0 입니다. 환자를 한 명도 못 찾으니까요.

그래서 분류는 네 칸으로 봅니다.

                예측: 양성      예측: 음성
  진짜 양성        TP             FN  ← 놓친 것
  진짜 음성        FP             TN
                   ↑ 헛짚은 것

  정밀도 = TP/(TP+FP)   "양성이라 한 것 중 진짜 비율"
  재현율 = TP/(TP+FN)   "진짜 양성 중 찾아낸 비율"
  특이도 = TN/(TN+FP)   "진짜 음성 중 제대로 거른 비율"

High school정확도 99% 짜리 쓸모없는 모형

제목이 과장이 아닙니다.

암 검진에서 "전원 음성" 이라고 답하면 정확도 99%

계산해 봅시다

인구 10,000명	수
실제 암	100명 (1%)
정상	9,900명

전원 "정상" 이라고 하면 —

결과	수
맞힌 것	9,900
정확도	99%
찾은 암	0명 ⚠

정확도 99% 인데 아무 쓸모가 없다

왜 정확도가 속이나

정확도는 다수 계급에 지배됩니다. 드문 것을 찾는 문제에서는 거의 무의미해요.

드문 것을 찾을 때 정확도를 보고하면 신뢰를 잃는다

비유 — 우산 예보

비가 연 10% 오는 지역에서 "항상 맑음" 이라고 하면 정확도 90% 입니다.

예보관	정확도	쓸모
항상 맑음	90%	0
진짜 예보	85%	크다 ✔

정확도가 낮은 쪽이 훨씬 유용할 수 있다

그래서 네 칸을 나눠 보는 겁니다 — 혼동행렬이죠.

A 의 정확도가 가장 높습니다. 그리고 A 는 <b>아무 일도 안 합니다</b>.

Python Runs in your browser

# 정확도가 높아도 쓸모가 없을 수 있다
import numpy as np

def report(name, tp, fp, fn, tn):
    n = tp + fp + fn + tn
    acc = (tp + tn) / n
    prec = tp / (tp + fp) if tp + fp else float("nan")
    rec = tp / (tp + fn) if tp + fn else 0.0
    spec = tn / (tn + fp) if tn + fp else float("nan")
    f1 = 2 * prec * rec / (prec + rec) if (prec == prec and prec + rec) else 0.0
    print(f"{name}")
    print(f"   정확도 {acc:.3f}   정밀도 {prec if prec==prec else float('nan'):.3f}"
          f"   재현율 {rec:.3f}   특이도 {spec:.3f}   F1 {f1:.3f}")

print("환자 10명, 건강한 사람 990명")
print()
report("A) 전부 '아니오'", tp=0,  fp=0,  fn=10, tn=990)
report("B) 전부 '예'",     tp=10, fp=990, fn=0, tn=0)
report("C) 쓸 만한 모형",  tp=8,  fp=40, fn=2,  tn=950)
print()
print("A 의 정확도가 가장 높다. 그런데 환자를 한 명도 못 찾는다.")
print("B 는 다 찾지만 990명을 헛짚는다.")
print("C 만 쓸 만하고, 정확도로는 A 보다 낮게 보인다.")
print()
print("드문 것을 찾는 문제에서 정확도는 거의 쓸모가 없다.")

High school네 칸을 나눠 보기

예측과 정답을 교차시키면 네 칸이 나옵니다.

	실제 양성	실제 음성
양성 예측	TP 진양성	FP 위양성
음성 예측	FN 위음성	TN 진음성

헷갈리는 것은 FP · FN 이다 — 이름 읽는 법이 있다

이름 읽는 요령

앞	뒤
T/F = 예측이 맞았나	P/N = 예측이 무엇이었나

FP = "False Positive" = 양성이라 했는데 틀렸다

뒷글자가 예측이다 — 실제가 아니다

두 오류의 무게가 다릅니다

오류	암 검진에서	스팸 분류에서
FP 위양성	불필요한 검사 · 불안	중요 메일이 사라진다 ⚠
FN 위음성	암을 놓친다 ⚠	스팸이 들어온다

문제마다 어느 쪽이 더 아픈지 가 다르다

그래서 지표가 여러 개입니다

지표	공식	답하는 물음
재현율	TP/(TP+FN)	진짜 양성 중 몇 % 를 찾았나
정밀도	TP/(TP+FP)	양성이라 한 것 중 몇 % 가 맞나
특이도	TN/(TN+FP)	음성을 음성이라 하나

분모가 무엇이냐 가 지표를 가른다 — 실제냐 예측이냐

어느 지표를 볼 것인가 — 무엇이 더 아픈가로 정한다

상황	더 아픈 실수	봐야 할 지표
암 선별검사	놓치는 것 (FN)	재현율 — 놓치면 사람이 죽는다
확진 검사	헛짚는 것 (FP)	정밀도 — 헛짚으면 불필요한 수술
후보 유전자 고르기	헛짚는 것	정밀도 — 실험할 수 있는 수가 정해져 있다
둘 다 비슷하게 아프다	—	F1 또는 균형정확도

정답이 없습니다. 어느 실수가 더 아픈지는 그 분야가 정해요 — /reg 15강의 이득-위해 저울과 같은 판단입니다.

High school이름이 여럿이다

note 의 이 지적이 혼란의 원인을 설명합니다.

같은 것을 분야마다 다르게 부른다

기계학습	의학	통계
재현율 (recall)	민감도	검정력 (1−β)
—	특이도	1−α
FP	위양성	1종 오류
FN	위음성	2종 오류

/stat 10강의 1종·2종 오류 가 바로 이것이다

왜 이렇게 됐나

분야마다 따로 발전했기 때문입니다. 의학은 진단, 통계는 가설검정, 기계학습은 검색에서 왔어요.

출신	관심
의학	환자를 놓치지 않기
정보 검색	찾은 문서가 쓸모 있나

"정밀도·재현율" 이라는 말이 검색에서 온 이유

기억하는 요령

지표	분모가	기억법
재현율	실제 양성	"얼마나 재현했나" — 놓치지 않기
정밀도	양성 예측	"얼마나 정밀한가" — 헛짚지 않기

재현율은 놓친 것을, 정밀도는 헛짚은 것을 벌한다

둘은 서로 밀어냅니다

문턱을 낮추면	재현율	정밀도
많이 양성이라 한다	오른다	내린다

둘을 동시에 올릴 수는 없다 — 9강의 문턱 이야기

High school정밀도는 유병률에 따라 변한다

note 의 이 경고가 가장 자주 오해되는 부분입니다.

같은 모형인데 어디에 쓰느냐 에 따라 정밀도가 달라진다

계산해 봅시다

민감도 90%, 특이도 95% 인 검사입니다. 좋은 검사죠.

유병률	1,000명 중 양성 판정	그중 진짜	정밀도
1%	9 + 50 = 59	9	15% ⚠
10%	90 + 45 = 135	90	67%
50%	450 + 25 = 475	450	95%

같은 검사가 15% 도 되고 95% 도 된다

왜 그런가

드문 병에서는 음성이 훨씬 많아서 5% 의 위양성만으로도 진양성보다 많아집니다.

유병률 1%	수
진짜 환자 10명 중 잡은 것	9
정상 990명 중 잘못 잡은 것	50

정상이 99배 많으니 5% 실수가 압도한다

그래서 중요한 결론

지표	유병률에
민감도 · 특이도	변하지 않는다 ✔
정밀도	변한다 ⚠

논문의 정밀도를 내 환경에 그대로 적용하면 안 된다

비유 — 금속 탐지기

같은 탐지기를 보물섬과 모래사장에서 쓰면?

장소	삐 소리가 날 때
보물섬	대개 보물
모래사장	대개 병뚜껑

기계는 그대로인데 있는 것의 비율이 답을 바꾼다

검사는 그대로인데 <b>정밀도만 무너집니다</b>. 누구를 검사하느냐가 정합니다.

Python Runs in your browser

# 같은 검사인데 유병률이 바뀌면 정밀도가 무너진다
import numpy as np

sens, spec = 0.95, 0.99      # 검사의 성질 - 바뀌지 않는다
N = 1_000_000

print(f"민감도 {sens:.2f} · 특이도 {spec:.2f} 인 검사 (아주 좋은 검사다)")
print()
print("  유병률      양성 중 진짜 비율 (정밀도/PPV)")
for prev in [0.50, 0.10, 0.01, 0.001, 0.0001]:
    pos = N * prev
    neg = N - pos
    tp = pos * sens
    fp = neg * (1 - spec)
    ppv = tp / (tp + fp)
    print(f"  {prev*100:7.2f}%     {ppv*100:6.2f}%")
print()
print("검사는 하나도 안 바뀌었다. 바뀐 것은 '누구를 검사하느냐' 뿐이다.")
print("드문 병을 온 국민에게 검사하면 양성의 대부분이 헛짚음이 된다.")

🤔 Check yourself

어떤 모형의 정확도가 97% 입니다. 이것만으로 판단할 수 없는 것은?