Lesson 5 of 20

과적합 — 외운 것과 배운 것

훈련 점수가 좋아질수록 나빠지는 구간

기계학습의 중심 개념 하나만 고르라면 이것입니다.

훈련자료를 잘 맞히는 것과 새 자료를 잘 맞히는 것은 다르다

그리고 둘은 어느 지점부터 반대로 움직입니다.

High school외운 것과 배운 것

기계학습에서 가장 중심적인 개념입니다.

과적합 = 훈련 자료의 잡음까지 외운 상태

왜 이런 일이 생기나

모형이 복잡할수록 훈련 자료를 잘 맞힙니다. 그런데 어느 지점부터 새 자료에는 나빠져요.

복잡도	훈련 점수	시험 점수
너무 단순	낮다	낮다
적당	중간	가장 높다 ✔
너무 복잡	거의 100%	떨어진다 ⚠

훈련 점수는 계속 오르는데 시험 점수는 꺾인다

비유 — 기출문제 외우기

공부법	기출	수능
대충 훑기	낮다	낮다
원리를 이해	높다	높다 ✔
답만 외우기	100점	낮다 ⚠

"1번 문제 답은 3번" 을 외우면 기출은 만점이다

그런데 새 문제에는 아무 도움이 안 되죠. 답에는 패턴이 없으니까요.

잡음에는 배울 것이 없다 — 그런데 모형은 구별 못 한다

훈련 오차는 <b>끝까지 내려갑니다</b>. 시험 오차는 어느 지점에서 돌아섭니다.

Python Runs in your browser

# 복잡하게 할수록 훈련은 좋아지고 시험은 나빠진다
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(41)

def make(n):
    x = rng.uniform(-3, 3, n)
    y = np.sin(x) + rng.normal(0, 0.35, n)      # 진실은 부드러운 곡선
    return x, y

xtr, ytr = make(25)
xte, yte = make(400)

degs = range(1, 16)
tr_err, te_err = [], []
for d in degs:
    k = np.polyfit(xtr, ytr, d)
    tr_err.append(np.mean((np.polyval(k, xtr) - ytr)**2))
    te_err.append(np.mean((np.polyval(k, xte) - yte)**2))

fig, ax = plt.subplots()
ax.plot(list(degs), tr_err, marker="o", label="train")
ax.plot(list(degs), te_err, marker="s", label="test")
ax.set_yscale("log"); ax.set_xlabel("polynomial degree"); ax.set_ylabel("MSE (log)")
ax.legend(fontsize=8)
plt.show()

best = list(degs)[int(np.argmin(te_err))]
print("  차수   훈련 오차   시험 오차")
for d, a, b in zip(degs, tr_err, te_err):
    mark = "  <- 가장 좋다" if d == best else ""
    print(f"  {d:4d}   {a:9.4f}   {b:9.4f}{mark}")
print()
print(f"훈련 오차는 차수를 올릴수록 계속 내려간다 - 끝까지.")
print(f"시험 오차는 {best}차에서 가장 낮고 그 뒤로 올라간다.")
print()
print("훈련 오차만 보면 '더 복잡하게' 가 언제나 정답으로 보인다.")
print("그것이 과적합이다.")

High school잡음을 배운다는 것

조금 더 구체적으로 무엇을 외우는지 봅시다.

자료 = 진짜 신호 + 우연한 잡음

모형은 둘을 구별하지 못합니다

모형이 보는 것	실제
"이 환자는 나이 52에 양성"	신호일 수도 우연일 수도

복잡한 모형은 둘 다 맞춥니다. 단순한 모형은 큰 흐름만 맞춰요.

단순함이 잡음을 거르는 체 역할을 한다

비유 — 점 잇기

흩어진 점 10개가 있습니다.

방법	훈련	새 점
직선 하나	몇 개 빗나감	대체로 맞다 ✔
구불구불한 곡선	전부 통과	엉뚱하다 ⚠

10개 점을 전부 지나는 곡선은 무한히 많다

그중 어느 것이 맞는지 알 수 없습니다. 그래서 가장 단순한 것을 고르는 거예요.

오컴의 면도날 — 같은 설명이면 단순한 쪽

그럼 얼마나 단순해야 하나

그게 6강의 교차검증이 답할 문제입니다. 그리고 11강의 규제가 조절 손잡이를 줍니다.

"적당히" 를 자료에게 물어서 정한다

왜 그런 일이 생기나

자료에는 두 가지가 섞여 있습니다.

신호

다음 자료에도 있을 규칙

잡음

이 자료에만 있는 우연

모형을 복잡하게 하면 둘 다 더 잘 따라갑니다. 그런데 잡음을 따라간 부분은 새 자료에서 그대로 손해가 됩니다.

그래서 '적당히 복잡한' 지점이 있고, 그 지점을 찾는 방법이 6강의 교차검증입니다.

High school표본이 적을수록 일찍 꺾인다

note 의 이 관찰이 3강의 현실 자료와 이어집니다.

자료가 적으면 훨씬 단순한 모형이어야 한다

왜 그런가

자료	잡음의 비중
많다	평균 내면 상쇄된다
적다	잡음이 패턴처럼 보인다 ⚠

동전을 4번 던져 앞면 4번이면 "이 동전은 이상하다" 로 보인다

400번 던지면 그런 일이 없죠. 자료가 많으면 우연이 드러납니다.

그래서 규칙이 생깁니다

표본 수	쓸 만한 모형
수십	선형 · 규제 강하게
수백	선형 · 작은 나무
수천 이상	숲 · 부스팅
수만 이상	신경망도 가능

환자 100명에 딥러닝을 쓰는 것은 거의 항상 잘못이다

비유 — 옷 맞추기

측정 횟수	맞출 정밀도
한 번 재고	여유 있게 만든다
여러 번 재고	딱 맞게 만들어도 된다

한 번 잰 치수로 딱 맞게 만들면? 그날의 우연에 맞춘 옷이 됩니다.

확신이 없으면 여유를 둔다 — 그게 규제의 뜻이다

감당할 수 있는 복잡도는 <b>자료의 양</b>이 정합니다.

Python Runs in your browser

# 표본이 많아지면 감당할 수 있는 복잡도가 올라간다
import numpy as np
rng = np.random.default_rng(51)

def make(n):
    x = rng.uniform(-3, 3, n)
    return x, np.sin(x) + rng.normal(0, 0.35, n)

xte, yte = make(2000)
print("  훈련 표본 수   가장 좋았던 차수   그때의 시험 오차")
for n in [15, 30, 60, 150, 400, 1000]:
    xtr, ytr = make(n)
    # 차수는 표본 수를 넘을 수 없다 - 점 15개로 15차를 맞추는 것은
    # 미지수가 식보다 많은 일이라 수치적으로 무너진다
    max_deg = min(15, n - 3)
    errs = []
    for d in range(1, max_deg + 1):
        k = np.polyfit(xtr, ytr, d)
        errs.append(np.mean((np.polyval(k, xte) - yte)**2))
    b = int(np.argmin(errs)) + 1
    print(f"  {n:10d}   {b:14d}   {errs[b-1]:14.4f}")
print()
print("자료가 늘수록 더 복잡한 모형을 써도 된다.")
print("거꾸로 말하면 - 자료가 적으면 단순한 모형을 써야 한다.")

High school과적합인지 어떻게 아나

실전에서 확인하는 법을 정리합시다.

훈련 점수와 검증 점수의 차이를 본다

훈련	검증	진단
낮다	낮다	과소적합 — 더 복잡하게
높다	높다	좋다 ✔
높다	낮다	과적합 ⚠
낮다	높다	이상하다 — 누출을 의심 (16강)

마지막 줄이 나오면 반드시 뭔가 잘못된 것이다

학습 곡선을 그려 본다

자료 양을 늘려 가며 두 점수를 그려 봅니다.

모양	뜻
두 곡선이 가까워진다	자료를 더 모으면 나아진다
두 곡선이 벌어진 채	과적합 — 모형을 단순하게
둘 다 낮은 채 평평	특징이 부족하다 (3강)

"자료를 더 모을까" 와 "모형을 바꿀까" 를 구별해 준다

비유 — 성적 추이

상황	처방
문제집은 잘 푸는데 시험은 못 본다	이해 없이 외웠다 — 방법을 바꾼다
둘 다 못 본다	공부량이 부족하다

증상이 다르면 처방이 다르다 — 진단이 먼저다

🤔 Check yourself

훈련 정확도 0.99, 시험 정확도 0.61 인 모형이 있습니다. 가장 알맞은 진단은?