19강 / 20강

실습 종합 — 처음부터 끝까지 한 번

나누고 · 배우고 · 채점하고 · 의심한다

스무 강의 도구를 한 줄기로 이어 봅니다. 자료는 이 사이트의 모양을 흉내 냈습니다 — 표본 200개 · 특징 500개, 그중 진짜로 쓸모 있는 것은 몇 개뿐.

고등학생처음부터 끝까지 한 번

1~18강을 한 흐름으로 이어 봅니다.

나누고 · 배우고 · 채점하고 · 의심한다

전체 순서

단계	하는 일	강
0	물음을 정한다	2
1	자료를 나눈다 — 시험은 봉인	4
2	훈련 안에서 전처리·선택	3·6
3	교차검증으로 고른다	6·11
4	검증에서 문턱을 정한다	9
5	시험 한 번	4
6	의심한다	16·18

6번이 없으면 절반만 한 것이다

0번이 왜 있나

가장 자주 건너뛰는 단계입니다.

정하지 않으면	결과
무엇을 예측할지	지표를 못 고른다
언제 예측할지	누출이 생긴다 (16강)
어느 오류가 아픈지	문턱을 못 정한다 (9강)

"무엇을 하려는가" 가 나머지 전부를 정한다

비유 — 여행 계획

순서	결과
목적지 → 교통 → 짐	자연스럽다 ✔
짐 → 교통 → 목적지	이상하다

그런데 모형부터 고르는 것이 정확히 그 순서다

가장 먼저 하는 일이 나누는 것입니다. 표준화도 특징 고르기도 그 다음이에요.

Python 브라우저에서 실행

# 1. 자료를 만들고 먼저 나눈다 - 다른 무엇을 하기 전에
import numpy as np
rng = np.random.default_rng(231)

n, p, n_real = 200, 500, 6
X = rng.normal(0, 1, (n, p))
w_true = np.zeros(p); w_true[:n_real] = rng.normal(0, 1.1, n_real)
z = X @ w_true
y = (rng.random(n) < 1/(1+np.exp(-z))).astype(int)

idx = np.random.default_rng(0).permutation(n)
tr, te = idx[:140], idx[140:]          # 시험자료는 여기서 봉인한다
print(f"전체 {n}명 · 특징 {p}개 (진짜로 쓸모 있는 것 {n_real}개)")
print(f"훈련 {len(tr)}명 · 시험 {len(te)}명   양성 비율 {y.mean():.2f}")
print()
print("이 뒤로 시험자료는 마지막 셀까지 손대지 않는다.")

고등학생기준선을 먼저 만든다

본격적으로 하기 전에 바닥을 확인합니다.

가장 멍청한 방법이 얼마나 하는지 부터 잰다

기준선의 종류

기준선	내용
다수 클래스	전부 음성이라고 답한다
무작위	동전 던지기 — AUC 0.5
특징 하나	가장 좋은 단일 특징만
로지스틱 회귀	11강 ⭐

이 넷보다 못하면 뭔가 잘못된 것이다

"특징 하나" 기준선이 특히 유용합니다

복잡한 모형이 특징 하나보다 못하다면?

가능성	확인
과적합	훈련/검증 차이 (5강)
전처리 실수	눈금 · 결측 (3강)
특징이 서로 방해	13강의 저주

가장 단순한 것이 이기면 — 복잡함이 해를 끼치고 있다

비유 — 신약 임상시험

새 약이 얼마나 좋은지 알려면 기존 약과 비교해야 합니다.

비교 대상	알 수 있는 것
없음	"70% 가 나았다" — 많은 건가?
위약 · 기존 약	얼마나 나은지 ✔

숫자는 비교 대상이 있어야 뜻이 생긴다

표준화·특징 고르기·λ 고르기가 전부 훈련 조각 안에서 일어납니다.

Python 브라우저에서 실행

# 2. 훈련자료 안에서만 - 표준화 · 특징 고르기 · 규제 세기 고르기
import numpy as np
rng = np.random.default_rng(231)
n, p, n_real = 200, 500, 6
X = rng.normal(0, 1, (n, p))
w_true = np.zeros(p); w_true[:n_real] = rng.normal(0, 1.1, n_real)
y = (rng.random(n) < 1/(1+np.exp(-(X @ w_true)))).astype(int)
idx = np.random.default_rng(0).permutation(n); tr, te = idx[:140], idx[140:]

def sigmoid(t): return 1/(1+np.exp(-np.clip(t, -30, 30)))

def fit(A, yy, lam, steps=500, lr=0.4):
    w = np.zeros(A.shape[1])
    for _ in range(steps):
        g = A.T @ (sigmoid(A @ w) - yy) / len(yy)
        g[1:] += lam * w[1:]
        w -= lr * g
    return w

def run_fold(tr_i, va_i, lam, n_feat):
    mu, sd = X[tr_i].mean(0), X[tr_i].std(0) + 1e-9      # 훈련에서만
    Xtr = (X[tr_i]-mu)/sd; Xva = (X[va_i]-mu)/sd
    r = np.abs(Xtr.T @ (y[tr_i]-y[tr_i].mean()))          # 훈련에서만 고른다
    ch = np.argsort(-r)[:n_feat]
    w = fit(np.column_stack([np.ones(len(tr_i)), Xtr[:, ch]]), y[tr_i], lam)
    s = sigmoid(np.column_stack([np.ones(len(va_i)), Xva[:, ch]]) @ w)
    return s

folds = np.array_split(np.random.default_rng(5).permutation(tr), 5)
def auc(yy, s):
    o = np.argsort(-s); yy = yy[o]
    tp = np.cumsum(yy); fp = np.cumsum(1-yy)
    a = np.concatenate([[0], fp/max((1-yy).sum(),1)])
    b = np.concatenate([[0], tp/max(yy.sum(),1)])
    return float(np.sum(np.diff(a)*(b[:-1]+b[1:])/2))

print("  특징 수   규제 λ    교차검증 AUC")
best = (None, None, -1)
for n_feat in [5, 20, 100]:
    for lam in [0.0, 0.05, 0.5]:
        ss, yy = [], []
        for i in range(5):
            va = folds[i]; tr_i = np.concatenate([folds[j] for j in range(5) if j != i])
            ss.append(run_fold(tr_i, va, lam, n_feat)); yy.append(y[va])
        a = auc(np.concatenate(yy), np.concatenate(ss))
        mark = ""
        if a > best[2]: best = (n_feat, lam, a); mark = "  <-"
        print(f"  {n_feat:7d}   {lam:6.2f}    {a:11.3f}{mark}")
print()
print(f"고른 설정: 특징 {best[0]}개 · λ {best[1]}")
print("이 고르기는 전부 훈련자료 안에서만 일어났다.")

훈련과 시험이 벌어져 있습니다. 보고하는 것은 아래쪽이에요.

Python 브라우저에서 실행

# 3. 봉인을 풀고 딱 한 번 채점한다
import numpy as np
rng = np.random.default_rng(231)
n, p, n_real = 200, 500, 6
X = rng.normal(0, 1, (n, p))
w_true = np.zeros(p); w_true[:n_real] = rng.normal(0, 1.1, n_real)
y = (rng.random(n) < 1/(1+np.exp(-(X @ w_true)))).astype(int)
idx = np.random.default_rng(0).permutation(n); tr, te = idx[:140], idx[140:]

def sigmoid(t): return 1/(1+np.exp(-np.clip(t, -30, 30)))
def fit(A, yy, lam, steps=500, lr=0.4):
    w = np.zeros(A.shape[1])
    for _ in range(steps):
        g = A.T @ (sigmoid(A @ w) - yy)/len(yy); g[1:] += lam*w[1:]; w -= lr*g
    return w
def auc(yy, s):
    o = np.argsort(-s); yy = yy[o]
    tp = np.cumsum(yy); fp = np.cumsum(1-yy)
    a = np.concatenate([[0], fp/max((1-yy).sum(),1)])
    b = np.concatenate([[0], tp/max(yy.sum(),1)])
    return float(np.sum(np.diff(a)*(b[:-1]+b[1:])/2))

N_FEAT, LAM = 20, 0.05          # 2단계에서 고른 값
mu, sd = X[tr].mean(0), X[tr].std(0)+1e-9
Xtr, Xte = (X[tr]-mu)/sd, (X[te]-mu)/sd
r = np.abs(Xtr.T @ (y[tr]-y[tr].mean())); ch = np.argsort(-r)[:N_FEAT]
w = fit(np.column_stack([np.ones(len(tr)), Xtr[:,ch]]), y[tr], LAM)
s_te = sigmoid(np.column_stack([np.ones(len(te)), Xte[:,ch]]) @ w)
s_tr = sigmoid(np.column_stack([np.ones(len(tr)), Xtr[:,ch]]) @ w)

print(f"훈련 AUC {auc(y[tr], s_tr):.3f}")
print(f"시험 AUC {auc(y[te], s_te):.3f}   <- 보고할 값")
print()
pred = (s_te > 0.5).astype(int)
tp = int(((pred==1)&(y[te]==1)).sum()); fp = int(((pred==1)&(y[te]==0)).sum())
fn = int(((pred==0)&(y[te]==1)).sum()); tn = int(((pred==0)&(y[te]==0)).sum())
print(f"문턱 0.5 에서  정밀도 {tp/max(tp+fp,1):.3f}  재현율 {tp/max(tp+fn,1):.3f}")
print()
print("훈련과 시험이 벌어져 있다 - 표본 140개에 특징 500개면 당연하다(5강).")
print("보고할 값은 아래쪽이다.")

섞으면 0.5 로 내려갑니다. 이 검사를 통과해야 앞의 숫자를 믿습니다.

Python 브라우저에서 실행

# 4. 의심한다 - 이름표를 섞어 파이프라인을 검사한다
import numpy as np
rng = np.random.default_rng(231)
n, p, n_real = 200, 500, 6
X = rng.normal(0, 1, (n, p))
w_true = np.zeros(p); w_true[:n_real] = rng.normal(0, 1.1, n_real)
y0 = (rng.random(n) < 1/(1+np.exp(-(X @ w_true)))).astype(int)
idx = np.random.default_rng(0).permutation(n); tr, te = idx[:140], idx[140:]

def sigmoid(t): return 1/(1+np.exp(-np.clip(t, -30, 30)))
def pipeline(y, n_feat=20, lam=0.05):
    mu, sd = X[tr].mean(0), X[tr].std(0)+1e-9
    Xtr, Xte = (X[tr]-mu)/sd, (X[te]-mu)/sd
    r = np.abs(Xtr.T @ (y[tr]-y[tr].mean())); ch = np.argsort(-r)[:n_feat]
    A = np.column_stack([np.ones(len(tr)), Xtr[:,ch]])
    w = np.zeros(A.shape[1])
    for _ in range(500):
        g = A.T @ (sigmoid(A @ w) - y[tr])/len(tr); g[1:] += lam*w[1:]; w -= 0.4*g
    s = sigmoid(np.column_stack([np.ones(len(te)), Xte[:,ch]]) @ w)
    o = np.argsort(-s); yy = y[te][o]
    tp = np.cumsum(yy); fp = np.cumsum(1-yy)
    a = np.concatenate([[0], fp/max((1-yy).sum(),1)])
    b = np.concatenate([[0], tp/max(yy.sum(),1)])
    return float(np.sum(np.diff(a)*(b[:-1]+b[1:])/2))

real = pipeline(y0)
null = [pipeline(rng.permutation(y0)) for _ in range(40)]
null = np.array(null)
print(f"진짜 이름표로   시험 AUC {real:.3f}")
print(f"섞은 이름표로   평균 {null.mean():.3f}  범위 {null.min():.3f}~{null.max():.3f}")
print()
print(f"섞은 것 중 진짜보다 높았던 비율  {(null >= real).mean():.3f}   <- 순열 p 값")
print()
print("섞으면 0.5 근처로 내려간다 - 파이프라인이 새지 않는다는 뜻이다(16강).")
print("이 검사를 통과해야 위 3단계의 숫자를 믿을 수 있다.")

고등학생결과를 정직하게 보고하는 법

결과를 어떻게 적을지 도 실력입니다.

숫자 하나만 적으면 정보가 사라진다

반드시 함께 적을 것

항목	왜
표본 수 · 양성 수	17강 — 절대 수가 중요
불확실성	±, 신뢰구간 (6강)
어떻게 나눴나	4강 — 시간? 사람?
몇 번 시도했나	4강 — 다중 비교
기준선	비교 대상
문턱을 어떻게 정했나	9강

"AUC 0.87" 만 적으면 아무것도 검증할 수 없다

좋은 보고와 나쁜 보고

	내용
나쁨	"AUC 0.87 을 달성했다"
좋음	"환자 200명(양성 24명)에서 5겹 교차검증 AUC 0.87±0.06, 로지스틱 기준선 0.79. 병원 단위로 나눴고 시험은 한 번 썼다."

두 번째는 남이 판단할 수 있다 — 그게 목적이다

한계를 적는 것도 결과다

적을 것	예
표본이 적다	"양성 24명이라 추정이 불안정하다"
한 기관 자료	"외부 검증이 필요하다"
누출 확인	"라벨 섞기에서 0.51 이었다" ✔

한계를 밝히면 신뢰가 올라간다 — 감추면 나중에 무너진다

비유 — 요리 재현

레시피에 "맛있게 구우세요" 라고만 쓰면 아무도 재현할 수 없습니다.

온도와 시간을 적어야 다른 사람도 할 수 있다

고등학생이 네 단계가 전부다

note 의 정리를 왜 이 넷인지와 함께.

단계	막는 실패
나누고	외운 것을 실력으로 착각 (1·4강)
배우고	과적합 (5·11강)
채점하고	엉뚱한 지표 (7·8강)
의심한다	누출 (16·18강)

각 단계가 특정 실패를 막는다 — 하나라도 빼면 그 실패가 남는다

그리고 순서가 중요합니다

"나누기" 가 가장 먼저인 이유가 있어요.

순서	결과
나누기 → 나머지	시험 자료가 순수하다 ✔
탐색 → 나누기	이미 전체를 봤다 ⚠

자료를 구경한 순간부터 시험은 오염된다

엄밀히 말하면 탐색적 시각화도 그렇습니다. 그래서 시험 조각은 빼고 탐색하는 것이 원칙이에요.

현실과의 타협

이상	현실
시험을 딱 한 번	여러 번 보게 된다
완전한 사전 등록	탐색하며 배운다

중요한 것은 정직하게 밝히는 것이다 — 완벽할 필요는 없다

"시험 자료를 세 번 봤다" 고 적으면 읽는 사람이 할인해서 읽습니다. 그게 과학이에요.

🤔 확인 문제

위 실습에서 훈련 AUC 가 시험 AUC 보다 훨씬 높았습니다. 이것은?