4강 / 20강

나누기 — 손도 대지 않을 자료를 남긴다

훈련 · 검증 · 시험, 그리고 왜 셋인가

1강에서 말한 그 장치입니다. 자료를 갈라 두고 일부는 손도 대지 않습니다.

📚

훈련

모형이 보고 배우는 자료 — 보통 60~80%

🎚️

검증

손잡이를 고르는 자료 — 어느 모형, 어떤 설정

🔒

시험

딱 한 번 쓴다. 마지막에

왜 둘이 아니라 셋일까요. 검증자료를 보고 고르는 순간, 검증자료도 오염되기 때문입니다.

고등학생손도 대지 않을 자료를 남긴다

1강에서 말한 그 장치를 실제로 만듭니다.

자료를 셋으로 나눈다 — 훈련 · 검증 · 시험

조각	쓰임	몇 번
훈련	모형을 배우게 한다	계속
검증	고르는 데 쓴다	여러 번
시험	최종 채점	한 번 ⭐

왜 둘이 아니라 셋인가 — 그게 이 강의 핵심

둘로만 나누면

훈련과 시험만 있다고 합시다.

모형 A 를 훈련하고 시험에서 0.70
모형 B 를 훈련하고 시험에서 0.75
B 를 고른다

이 순간 시험 자료로 고른 것이 된다 — 더 이상 시험이 아니다

비유 — 모의고사와 수능

시험	역할
문제집	훈련 — 계속 푼다
모의고사	검증 — 어느 공부법이 나은지 고른다
수능	시험 — 한 번, 그리고 끝

수능을 미리 보고 공부법을 고르면 수능이 아니다

고르는 데 쓴 자료로는 채점할 수 없습니다. <b>검증과 시험이 따로인 이유</b>예요.

Python 브라우저에서 실행

# 검증자료를 보고 고르면 검증 점수도 부풀려진다
import numpy as np
rng = np.random.default_rng(31)

n, p = 300, 500
X = rng.normal(0, 1, (n, p))
y = rng.integers(0, 2, n)          # 진실: X 와 아무 관계 없다

tr, va, te = slice(0, 150), slice(150, 225), slice(225, 300)

# 500개 특징 중 검증자료에서 가장 잘 맞히는 것 하나를 고른다
def acc(j, sl):
    thr = X[tr, j].mean()
    pred = (X[sl, j] > thr).astype(int)
    return max((pred == y[sl]).mean(), 1 - (pred == y[sl]).mean())

va_scores = np.array([acc(j, va) for j in range(p)])
best = va_scores.argmax()

print(f"특징 {p}개 중 검증자료에서 가장 좋은 것을 골랐다 (#{best})")
print()
print(f"  훈련 정확도  {acc(best, tr):.3f}")
print(f"  검증 정확도  {acc(best, va):.3f}   <- 이것을 보고 골랐다")
print(f"  시험 정확도  {acc(best, te):.3f}   <- 손대지 않은 자료")
print()
print("진실은 정확도 0.5 다. y 는 X 와 아무 관계가 없다.")
print()
print("검증 점수가 높은 것은 당연하다 - 그 점수가 높아지도록 골랐으니까.")
print("고르는 데 쓴 자료로는 채점할 수 없다.")
print("그래서 시험자료가 따로 필요하다.")

고등학생어떻게 나눌 것인가

그냥 무작위로 나누면 될까요? 경우에 따라 안 됩니다.

상황	나누는 법
보통	무작위
양성이 드물다	층화 — 비율을 맞춘다
시간이 있다	시간 순으로 자른다 ⭐
한 사람이 여러 줄	사람 단위로 나눈다 ⭐
여러 병원 자료	병원 단위로

아래 셋을 어기면 16강의 누출이 된다

시간을 왜 지켜야 하나

실제로 쓸 때는 과거로 미래를 예측합니다. 그런데 무작위로 나누면 —

훈련에	시험에
2026년 자료	2025년 자료 ⚠

미래를 배우고 과거를 맞히는 시험이 된다

사람 단위를 왜 지켜야 하나

한 환자에게서 샘플 5개를 얻었다고 합시다. 무작위로 나누면 같은 사람이 양쪽에 들어갑니다.

모형이 배우는 것	진짜 목적
"이 사람을 알아본다"	"병을 알아본다"

사람을 외우면 새 환자에게는 안 통한다

비유 — 쌍둥이

시험 문제를 나누는데 같은 문제의 변형이 양쪽에 있으면?

"본 적 있는" 문제라 점수가 부풀려진다

어떻게 나눌 것인가

방식	언제	주의
무작위	표본이 서로 독립일 때	가장 흔하지만 대개 독립이 아니다
층화	결과가 드물 때 (17강)	양쪽에 같은 비율로 들어가게
환자 단위	한 사람에게서 여러 표본이 나올 때	같은 사람이 양쪽에 걸치면 안 된다
시간 단위	시간 순서가 있을 때	과거로 배우고 미래로 시험
기관 단위	여러 병원·배치의 자료	기관을 통째로 갈라야 진짜 시험이다

아래 셋이 중요합니다. /til 처럼 한 슬라이드에서 조각을 수천 개 뽑으면 같은 슬라이드의 조각이 훈련과 시험에 나뉘어 들어갑니다 — 그러면 시험자료가 시험자료가 아니에요. 16강의 정보 누출입니다.

고등학생시험 자료를 한 번만 쓴다는 약속

note 의 이 규칙이 지키기 가장 어려운 것입니다.

한 번 보면 다시 순수해지지 않는다

왜 어려운가

인간적으로 참기 힘들기 때문입니다.

상황	유혹
시험 점수가 낮게 나왔다	"조금만 고쳐서 다시"
결과가 안 예뻐서	"다른 모형도 해 보자"

그 순간 시험 자료가 검증 자료가 된다

여러 번 보면 무슨 일이

시험 자료의 우연한 특성에 맞춰집니다.

시도 횟수	가장 좋은 점수
1	진짜에 가깝다
10	조금 부풀려짐
100	크게 부풀려짐 ⚠

/stat 의 다중 비교 문제와 정확히 같은 구조다

많이 시도하면 우연히 좋은 것이 나옵니다. 그리고 그게 실력처럼 보이죠.

비유 — 과녁 그리기

화살을 먼저 쏘고 맞은 자리에 과녁을 그리면 백발백중입니다.

순서	결과
과녁 → 화살	정직한 실력
화살 → 과녁	항상 명중 — 뜻이 없다

시험을 먼저 정하고 결과를 본다 — 순서가 전부다

실무의 타협

방법	설명
시험을 마지막에	모든 결정을 검증으로 끝낸 뒤
몇 번 봤는지 적는다	정직하게 보고한다
외부 자료로 다시	가장 강력한 확인 ✔

🤔 확인 문제

시험자료에서 점수가 낮게 나와 모형을 바꾸고 다시 시험했습니다. 이 시험 점수는?