8강 / 20강

외우지 못하게 막기 — 조기종료 · 드롭아웃 · 감쇠

딥러닝에서 과적합은 예외가 아니라 기본값이다

/ml 5강의 그림이 여기서 훨씬 극단적으로 나타납니다. 신경망은 가중치가 수천~수억 개라 훈련자료를 통째로 외울 수 있거든요.

심지어 이름표를 무작위로 섞은 자료도 외웁니다. 확인해 봅니다.

고등학생과적합은 예외가 아니라 기본값이다

부제가 딥러닝의 성격을 정확히 말합니다.

파라미터가 표본보다 훨씬 많다 — 외우는 것이 자연스럽다

얼마나 많은가

모형	파라미터	흔한 표본 수
작은 신경망	수만	수천
ResNet-50	2,500만	—
큰 언어모형	수천억	—

표본 전부를 통째로 외울 용량이 있다

실제로 외웁니다

유명한 실험이 있어요 — 라벨을 무작위로 섞은 자료로 학습시켰더니?

결과	—
훈련 정확도	100% ⚠
검증 정확도	무작위 수준

아무 패턴이 없어도 전부 외운다 — 용량이 그만큼 크다

그런데 이상한 점

그렇게 외울 수 있는데 진짜 자료에서는 왜 일반화가 될까요?

이건 아직 완전히 설명되지 않은 문제다

제안된 설명	내용
암묵적 규제	SGD 가 단순한 해를 선호한다 (7강)
평평한 최소점	7강

"왜 되는지" 를 다 모르면서 쓰고 있다 — 정직하게 말하면 그렇다

규칙이 <b>하나도 없는</b> 자료를 정확도 1.0 으로 외웁니다. 훈련 점수는 정보가 아니에요.

Python 브라우저에서 실행

# 신경망은 무작위 이름표도 외운다
import numpy as np
rng = np.random.default_rng(81)

n, h = 200, 64
X = rng.normal(0, 1, (n, 10))
y = rng.integers(0, 2, n).astype(float)      # X 와 아무 관계 없는 이름표

def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))
W1 = rng.normal(0, np.sqrt(2/10), (10, h)); b1 = np.zeros(h)
W2 = rng.normal(0, np.sqrt(2/h), (h, 1));   b2 = np.zeros(1)

print("이름표는 X 와 아무 관계가 없다 (동전 던지기)")
print()
print("  걸음      훈련 손실   훈련 정확도")
for step in range(4001):
    Z1 = X @ W1 + b1; A1 = np.maximum(Z1, 0)
    p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
    if step % 800 == 0:
        acc = ((p > .5) == (y == 1)).mean()
        loss = -np.mean(y*np.log(p) + (1-y)*np.log(1-p))
        print(f"  {step:5d}   {loss:11.5f}   {acc:12.3f}")
    d2 = ((p - y)/n)[:, None]
    d1 = (d2 @ W2.T) * (Z1 > 0)
    W2 -= 0.5*(A1.T @ d2); b2 -= 0.5*d2.sum(0)
    W1 -= 0.5*(X.T @ d1);  b1 -= 0.5*d1.sum(0)
print()
print("훈련 정확도가 1.0 에 닿는다 - 200개를 통째로 외웠다.")
print("배울 규칙이 하나도 없는데도 그렇다.")
print()
print("그러니 '훈련 정확도가 높다' 는 것은 아무 정보도 아니다.")
print("반드시 따로 떼어 둔 자료를 봐야 한다 (/ml 4강).")

고등학생세 가지 막는 법

note 가 든 세 가지를 발상별로 봅시다.

방법	발상
조기 종료	덜 배우게 한다
가중치 감쇠	가중치를 작게 유지
드롭아웃	일부러 일부를 끈다

셋 다 모형이 자유롭게 못 하게 하는 것이다

가중치 감쇠 = L2 규제

/ml 11강의 릿지와 같은 것입니다.

이름만 다르다 — 딥러닝에서는 weight decay 라 부른다

드롭아웃이 재미있습니다

학습할 때 뉴런을 무작위로 꺼 버립니다.

비율	결과
0.5	절반이 매번 다르게 꺼진다

모형이 특정 뉴런에 의존하지 못하게 된다

왜 효과가 있나 — 두 설명

설명	내용
앙상블	수많은 작은 신경망의 평균 — `/ml` 12강 숲과 같다
공적응 방지	뉴런들이 서로 기대지 못한다

두 번째가 핵심이다 — 혼자서도 쓸모 있는 특징을 배우게 된다

비유 — 조별 과제에 무작위 결석

상황	결과
늘 같은 사람이 다 한다	나머지는 아무것도 못 한다
매번 누가 빠질지 모른다	다들 할 줄 알게 된다 ✔

의존을 못 하게 하면 각자 튼튼해진다

막는 네 가지

방법	어떻게	성격
조기종료	검증 손실이 올라가기 시작하면 멈춘다	가장 싸고 가장 잘 듣는다. 언제나 쓴다
드롭아웃	학습 때 뉴런 일부를 무작위로 끈다	매번 다른 모형을 학습하는 셈 — 앙상블 효과
가중치 감쇠	가중치 크기에 벌점 (L2)	`/ml` 11강의 릿지와 같은 것
자료 늘리기	뒤집고 자르고 잡음을 더한다	이미지에서 특히 강력하다

첫 줄이 핵심입니다. 나머지를 아무것도 안 해도 조기종료 하나면 대부분의 과적합이 잡혀요.

훈련 손실은 계속 내려가는데 검증 손실이 <b>돌아섭니다</b>. 그 지점에서 멈추면 됩니다.

Python 브라우저에서 실행

# 조기종료 - 검증 손실이 돌아서는 지점을 찾는다
import numpy as np
rng = np.random.default_rng(91)

def make(n, r):
    X = r.normal(0, 1, (n, 6))
    z = X[:,0]*1.2 - X[:,1]*0.8 + X[:,2]*0.5
    return X, (r.random(n) < 1/(1+np.exp(-z))).astype(float)

Xtr, ytr = make(120, rng)
Xva, yva = make(3000, np.random.default_rng(7))
def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

h = 128
W1 = rng.normal(0, np.sqrt(2/6), (6, h)); b1 = np.zeros(h)
W2 = rng.normal(0, np.sqrt(2/h), (h, 1)); b2 = np.zeros(1)

def loss_of(X, y):
    p = np.clip(sigmoid(np.maximum(X @ W1 + b1, 0) @ W2 + b2).ravel(), 1e-9, 1-1e-9)
    return -np.mean(y*np.log(p) + (1-y)*np.log(1-p))

best, best_step, hist = 9e9, 0, []
n = len(Xtr)
for step in range(3001):
    Z1 = Xtr @ W1 + b1; A1 = np.maximum(Z1, 0)
    p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
    if step % 100 == 0:
        tr, va = loss_of(Xtr, ytr), loss_of(Xva, yva)
        hist.append((step, tr, va))
        if va < best: best, best_step = va, step
    d2 = ((p - ytr)/n)[:, None]
    d1 = (d2 @ W2.T) * (Z1 > 0)
    W2 -= 0.5*(A1.T @ d2); b2 -= 0.5*d2.sum(0)
    W1 -= 0.5*(Xtr.T @ d1); b1 -= 0.5*d1.sum(0)

print("  걸음    훈련 손실   검증 손실")
for s, tr, va in hist[::4]:
    mark = "  <- 여기서 멈춰야 한다" if s == best_step else ""
    print(f"  {s:5d}   {tr:9.4f}   {va:9.4f}{mark}")
print()
print(f"검증 손실이 가장 낮은 지점: {best_step} 걸음")
print("그 뒤로 훈련 손실은 계속 내려가는데 검증 손실은 올라간다.")
print("그 갈라지는 지점이 '외우기 시작한' 자리다.")

고등학생검증자료로 멈출 시점을 골랐다면

note 의 이 경고가 /ml 의 그 원칙입니다.

결정에 쓴 자료로는 그 결정을 평가할 수 없다

조기 종료가 왜 문제가 되나

단계	하는 일
1	매 에폭 검증 손실을 잰다
2	가장 좋은 에폭에서 멈춘다
3	그때의 검증 점수를 보고한다

3번이 잘못이다 — 가장 좋았던 순간을 골라 놓고 성능이라 한다

얼마나 부풀려지나

에폭이 100 이면 100번 중 최고를 고른 셈입니다.

고른 횟수	부풀림
1	없다
100	상당하다 ⚠

/ml 4강의 과녁 그리기 가 에폭 축에서 일어났다

올바른 구조

자료	쓰임
훈련	가중치를 배운다
검증	멈출 시점 · 하이퍼파라미터
시험	최종 평가 — 한 번

멈출 시점도 모형의 일부다 — 학습률·구조와 똑같이 다룬다

비유 — 최고 기록만 말하기

100m 를 100번 뛰고 가장 빠른 기록만 말하면?

기록	의미
최고 기록	운이 가장 좋았던 날
새 대회의 기록	진짜 실력 ✔

최고 기록은 실력의 상한이지 실력이 아니다

고등학생자료 증강 — 가장 효과적인 규제

목록에 없지만 실무에서 가장 큰 효과를 냅니다.

자료를 변형해서 늘린다 — 과적합의 근본 원인을 줄인다

어떻게 변형하나

자료	변형
이미지	회전 · 뒤집기 · 자르기 · 밝기
서열	일부 가리기 · 잘라내기
소리	속도 · 잡음 추가

핵심 조건 — 변형해도 정답이 안 바뀌어야 한다

그 조건이 깨지는 예

과제	변형	괜찮나
고양이/개	좌우 뒤집기	괜찮다 ✔
글자 인식	좌우 뒤집기	안 된다 — b 가 d 가 된다 ⚠
의료 영상	좌우 뒤집기	주의 — 심장이 오른쪽으로 간다

"무엇이 변해도 되는가" 는 도메인 지식이다

왜 이게 가장 효과적인가

다른 규제는 모형을 제한합니다. 증강은 정보를 늘립니다.

방법	성격
드롭아웃 · 감쇠	모형을 묶는다
자료 증강	배울 것을 늘린다 ✔

근본 해법은 언제나 자료를 늘리는 것이다

비유 — 문제집 한 권과 여러 권

공부	결과
한 권을 10번	그 책을 외운다
변형 문제를 푼다	원리를 배운다 ✔

🤔 확인 문제

드롭아웃 비율 0.5 로 학습한 모형을 예측에 쓸 때는?