17강 / 20강

드문 것 찾기 — 100명 중 2명

가중치 · 표본 조정 · 그리고 하지 말아야 할 것

7강에서 봤습니다 — 양성이 드물면 정확도가 거짓말을 합니다. 그런데 문제는 채점만이 아니에요. 학습 자체가 기울어집니다.

손실을 줄이려는 알고리즘 입장에서, 드문 쪽을 무시하는 것이 가장 쉬운 길이거든요.

고등학생100명 중 2명

7강에서 봤듯 양성이 드물면 정확도가 거짓말을 합니다. 이제 어떻게 다룰지 를 봅니다.

불균형 자체가 문제가 아니라 — 재는 법과 다루는 법이 문제다

먼저 확인할 것

물음	왜 중요한가
정말 조정이 필요한가	대개 지표만 바꿔도 된다
어느 오류가 아픈가	9강의 문턱으로 푼다
양성이 몇 개인가	절대 수가 적으면 근본적 한계

양성이 10개면 어떤 기법을 써도 한계가 있다

비율보다 절대 수가 중요합니다

상황	비율	양성 수	난이도
A	1%	10	매우 어렵다
B	1%	10,000	할 만하다 ✔

같은 1% 인데 완전히 다른 문제다

비유 — 희귀 우표 찾기

상황	배울 수 있나
희귀 우표를 10장 봤다	특징을 일반화 못 한다
1만 장 봤다	패턴이 보인다 ✔

드물어서 어려운 게 아니라 본 적이 적어서 어렵다

신호는 그대로인데 <b>재현율만 무너집니다</b>. 가중치 한 줄로 상당히 돌아옵니다.

Python 브라우저에서 실행

# 양성이 드물어질수록 모형이 어떻게 기우나
import numpy as np
rng = np.random.default_rng(211)

def sigmoid(t): return 1/(1+np.exp(-np.clip(t, -30, 30)))

def fit(X, y, w_pos=1.0, steps=800, lr=0.3):
    A = np.column_stack([np.ones(len(X)), X])
    w = np.zeros(A.shape[1])
    sw = np.where(y == 1, w_pos, 1.0)          # 양성에 가중치
    for _ in range(steps):
        g = A.T @ (sw * (sigmoid(A @ w) - y)) / sw.sum()
        w -= lr * g
    return w

print("  양성 비율   가중치 없음(재현율)   가중치 있음(재현율)")
for frac in [0.40, 0.20, 0.05, 0.02]:
    N = 6000
    y = (rng.random(N) < frac).astype(int)
    X = rng.normal(0, 1, (N, 2)) + y[:, None] * 1.3
    out = []
    for wp in [1.0, (1-frac)/frac]:
        w = fit(X, y, w_pos=wp)
        pred = (sigmoid(np.column_stack([np.ones(N), X]) @ w) > 0.5).astype(int)
        tp = int(((pred==1)&(y==1)).sum()); fn = int(((pred==0)&(y==1)).sum())
        out.append(tp/max(tp+fn, 1))
    print(f"  {frac*100:8.0f}%   {out[0]:18.3f}   {out[1]:18.3f}")
print()
print("신호의 세기는 줄곧 같다 (평균이 1.3 만큼 떨어져 있다).")
print("양성이 드물어지면 가중치 없는 모형은 재현율이 무너진다 -")
print("전부 '음성' 이라 하는 것이 손실을 줄이는 길이기 때문이다.")
print()
print("양성에 (1-p)/p 만큼 가중치를 주면 상당히 회복된다.")

고등학생가중치와 표본 조정

불균형을 다루는 세 갈래가 있습니다.

방법	하는 일	대가
클래스 가중치	양성 실수에 벌점을 더	보정이 깨진다 (10강)
과소표집	음성을 줄인다	정보를 버린다
과대표집	양성을 늘린다	중복 → 과적합

가중치가 대개 가장 무난하다 — 자료를 안 버리니까

그런데 먼저 물어야 할 것

정말 필요한가 — 문턱만 조정해도 되는 경우가 많다

목표	더 간단한 답
양성을 더 많이 잡고 싶다	문턱을 낮춘다 (9강) ✔
정확도가 낮게 나온다	지표를 바꾼다 (7·8강) ✔

자료를 건드리기 전에 재는 법부터 고친다

과소표집의 숨은 문제

음성을 버리면 무엇이 사라질까요?

버리는 것	결과
음성의 다양성	드문 유형의 음성을 못 배운다
—	실제 배포에서 위양성이 는다

"어려운 음성" 을 버리면 쉬운 문제를 푼 셈이 된다

비유 — 시험 범위 줄이기

공부할 게 많아서 범위를 줄였습니다. 모의고사 점수가 올랐어요.

그런데 실제 시험에는 줄인 범위도 나온다

다루는 네 가지 방법

방법	어떻게	주의
가중치	드문 쪽 손실에 큰 무게	가장 간단하고 대개 충분하다. 자료를 안 버린다
문턱 조정	0.5 대신 낮은 문턱 (9강)	학습은 그대로 두고 쓰는 자리만 바꾼다
과소표집	많은 쪽을 줄인다	자료를 버린다. 큰 자료에서만
과대표집 · 합성	드문 쪽을 복제하거나 지어낸다	교차검증 안에서만 — 밖에서 하면 16강의 누출

실전에서는 위의 둘로 충분한 경우가 대부분입니다. 그리고 이것을 다루기 전에 먼저 물어야 할 것이 있어요 — 채점을 제대로 하고 있나(7·8강).

고등학생합성 표본을 교차검증 밖에서 만들면 안 된다

note 의 이 경고가 16강의 누출과 정확히 이어집니다.

SMOTE 같은 기법은 훈련 조각 안에서만

밖에서 만들면 무슨 일이

SMOTE 는 기존 양성들 사이를 보간해 새 점을 만듭니다.

단계	일어나는 일
전체 자료로 합성	검증 조각의 양성이 재료로 쓰인다
겹을 나눈다	훈련에 검증 양성의 복제본이 들어간다 ⚠
평가	본 적 있는 것을 맞힌다

점수가 극적으로 부풀려진다 — AUC 0.99 도 나온다

올바른 순서

겹을 먼저 나눈다
훈련 조각에만 합성 표본을 만든다
검증 조각은 원래 비율 그대로

검증 조각은 실제 세계와 같은 비율이어야 한다

합성 표본을 검증에 넣으면 실제로 만나지 않을 자료로 채점하는 셈이에요.

비유 — 모의고사 문제 만들기

기출 문제를 변형해 연습 문제를 만들었습니다.

쓰임	괜찮나
연습용	좋다 ✔
모의고사에 섞기	안 된다 — 내가 만든 걸 푼다 ⚠

만든 사람이 푸는 사람이면 시험이 아니다

그리고 SMOTE 의 근본 한계

가정	맞나
두 양성 사이도 양성이다	항상 그렇지는 않다 ⚠

고차원에서는 사이 점이 엉뚱한 곳일 수 있다 (13강)

없는 자료를 만들어 낸다는 것 자체가 강한 가정임을 잊지 마세요.

🤔 확인 문제

양성이 1% 인 자료로 만든 모형이 재현율 0.05, 정확도 0.99 입니다. 가장 먼저 시도할 것은?