16강 / 20강

정보 누출 — 점수가 너무 좋으면 의심한다

이 강의에서 가장 중요한 한 강

/epi 의 편향 목록에 해당하는 것이 기계학습에도 있습니다. 그중 하나가 압도적으로 흔하고 압도적으로 치명적이에요.

시험자료의 정보가 어떤 경로로든 훈련에 들어가는 것

그러면 시험 점수가 부풀려지고, 실제로 쓰면 전혀 안 됩니다. 그리고 부풀려진 점수는 아름다워서 아무도 의심하지 않습니다.

고등학생이 강의에서 가장 중요한 한 강

부제가 과장이 아닙니다.

누출은 가장 흔하고 가장 발견하기 어려운 실패다

왜 어려운가

다른 실패	누출
점수가 나쁘게 나온다	점수가 좋게 나온다 ⚠
이상함을 안다	기뻐한다

실패가 성공처럼 보인다 — 그래서 안 잡힌다

누출이란

실제로는 알 수 없는 정보가 모형에 들어간 것

기준은 간단합니다 —

물음	확인
예측 시점에 이 정보를 정말 알 수 있나	아니라면 누출

현실에서 이렇게 드러납니다

단계	결과
개발 중	AUC 0.97 ✨
실제 배포	AUC 0.58 ⚠

배포하고 나서야 안다 — 그리고 이미 늦었다

비유 — 컨닝

모의고사에서 답을 보고 100점을 받았습니다. 실력이 늘었나요?

본인은 실력인 줄 안다 — 그게 가장 위험한 점이다

특징을 미리 고른 것만으로 <b>0.5 짜리 문제가 좋은 점수</b>를 냅니다.

Python 브라우저에서 실행

# 특징을 미리 골랐을 때 점수가 얼마나 부풀려지나
import numpy as np
rng = np.random.default_rng(191)

n, p = 100, 5000
X = rng.normal(0, 1, (n, p))
y = rng.integers(0, 2, n)        # 진실: X 와 y 는 아무 관계가 없다. 정답은 0.5

def cv_score(X, y, k=5, select_inside=True, n_feat=10):
    idx = np.random.default_rng(0).permutation(len(y))
    folds = np.array_split(idx, k)
    if not select_inside:                       # 틀린 방법 - 전체로 미리 고른다
        r = np.array([abs(np.corrcoef(X[:, j], y)[0, 1]) for j in range(X.shape[1])])
        chosen_all = np.argsort(-r)[:n_feat]
    accs = []
    for i in range(k):
        te = folds[i]
        tr = np.concatenate([folds[j] for j in range(k) if j != i])
        if select_inside:                       # 맞는 방법 - 훈련 조각만으로 고른다
            r = np.array([abs(np.corrcoef(X[tr, j], y[tr])[0, 1]) for j in range(X.shape[1])])
            ch = np.argsort(-r)[:n_feat]
        else:
            ch = chosen_all
        A = np.column_stack([np.ones(len(tr)), X[np.ix_(tr, ch)]])
        w = np.linalg.lstsq(A, y[tr] - 0.5, rcond=None)[0]
        B = np.column_stack([np.ones(len(te)), X[np.ix_(te, ch)]])
        accs.append(((B @ w > 0).astype(int) == y[te]).mean())
    return float(np.mean(accs))

print(f"표본 {n}개 · 특징 {p}개 · 진실은 아무 관계 없음 (정답 0.500)")
print()
print(f"  특징을 교차검증 '바깥' 에서 미리 고름   {cv_score(X, y, select_inside=False):.3f}   <- 새어 들었다")
print(f"  특징을 매 회차 '안' 에서 고름           {cv_score(X, y, select_inside=True):.3f}   <- 정답에 가깝다")
print()
print("차이가 크다. 그리고 부풀려진 쪽이 논문에 실리기 좋은 값이다.")
print()
print("이유: 5000개 중 y 와 상관 높은 10개를 '전체 자료' 에서 골랐다는 것은,")
print("      시험 조각의 y 를 이미 들여다봤다는 뜻이다.")

고등학생누출이 들어오는 경로들

어디로 새는지 목록을 만들어 둡시다.

경로	예
전처리를 밖에서	전체로 표준화 · 결측 대치 (3·6강)
특징 선택을 밖에서	전체로 유전자 고르기 (6강)
미래 정보	예측 시점 이후 자료
같은 대상이 양쪽에	한 환자의 여러 샘플 (4강)
결과의 대리 변수	아래 참조 ⭐
중복 행	같은 자료가 두 번

다섯 번째가 가장 교묘하다

결과의 대리 변수란

겉보기엔 입력인데 사실은 결과 때문에 생긴 값입니다.

예측 대상	누출 특징	왜
암 여부	항암제 처방	암이라서 처방했다
퇴사 예측	인수인계 문서 수	퇴사하니까 썼다
사망 예측	중환자실 입실	—

원인과 결과가 뒤집혀 있다 — 미래를 특징으로 쓴 것

왜 잘 안 보이나

자료에 날짜가 없으면 순서를 알 수 없기 때문입니다. 표만 보면 같은 줄의 열일 뿐이죠.

표는 시간을 담지 않는다 — 그래서 사람이 확인해야 한다

비유 — 소방차와 화재

"소방차가 많이 온 화재일수록 피해가 크다"

해석	맞나
소방차가 피해를 키운다	아니다
피해가 커서 소방차가 왔다	그렇다 ✔

예측에 쓰려면 불이 나기 전에 알 수 있어야 한다

흔한 누출 다섯

어떻게 새나	고치는 법
특징을 전체 자료에서 골랐다	교차검증 안에서, 훈련 조각만으로
표준화·결측 채우기를 전체로 했다	평균·분산도 훈련 조각에서만 구한다
같은 환자의 표본이 양쪽에	환자 단위로 나눈다 (4강)
미래 정보가 특징에 들어갔다	예측 시점에 알 수 있는 것만 쓴다
결과와 사실상 같은 특징	'항암제 투여 여부' 로 암을 예측하는 식. 정의를 되짚는다

네 번째가 임상 자료에서 특히 흔합니다. '퇴원 시 진단코드' 로 입원 중 사건을 예측하면 답을 보고 답하는 셈이에요.

고등학생가장 믿을 만한 신호 — 점수가 너무 좋다

note 가 든 탐지 신호를 정리합시다.

누출을 직접 찾기는 어렵다 — 증상으로 의심한다

의심 신호들

신호	왜 의심스러운가
AUC 0.99	현실 문제는 그렇게 쉽지 않다
기존 연구보다 훨씬 좋다	—
특징 하나가 압도적	답의 대리 변수일 수 있다
검증 > 훈련	5강 — 있을 수 없는 일 ⚠
모형을 바꿔도 다 좋다	문제가 아니라 자료에 답이 있다

마지막이 특히 강력하다 — 아무 모형이나 잘하면 이상하다

확인하는 방법들

방법	확인하는 것
라벨을 섞어 본다	AUC 가 0.5 로 떨어져야 정상 ⭐
특징을 하나씩 빼 본다	어느 것이 압도하나
다른 코호트로	가장 확실한 검증 ✔
파이프라인을 그려 본다	어디서 전체 자료를 봤나

라벨 섞기가 가장 값싸고 강력하다 — 반드시 해 볼 것

라벨 섞기가 왜 통하나

정답을 무작위로 섞으면 어떤 신호도 없어야 합니다. 그런데도 좋은 점수가 나오면?

자료 처리 과정 자체에 새는 곳이 있다는 뜻이다

비유 — 저울 영점 확인

아무것도 안 올려놓고 0 이 나오는지 봅니다. 5kg 이 나오면? 저울이 이상한 거죠.

"아무 신호가 없을 때 0 이 나오나" 를 확인하는 것 — 음성 대조다

실험실의 음성 대조군과 같은 발상입니다.

이름표를 섞어도 점수가 안 내려가면 <b>새고 있는 것</b>입니다. 공짜 검사예요.

Python 브라우저에서 실행

# 누출을 잡아내는 법 - 이름표를 섞어 본다
import numpy as np
rng = np.random.default_rng(201)

n, p = 80, 2000
X = rng.normal(0, 1, (n, p))
y = rng.integers(0, 2, n)

def leaky_pipeline(X, y):
    # 전체 자료로 특징을 고른다 (틀린 방법)
    r = np.array([abs(np.corrcoef(X[:, j], y)[0, 1]) for j in range(X.shape[1])])
    ch = np.argsort(-r)[:8]
    idx = np.random.default_rng(0).permutation(len(y))
    tr, te = idx[:60], idx[60:]
    A = np.column_stack([np.ones(len(tr)), X[np.ix_(tr, ch)]])
    w = np.linalg.lstsq(A, y[tr] - 0.5, rcond=None)[0]
    B = np.column_stack([np.ones(len(te)), X[np.ix_(te, ch)]])
    return ((B @ w > 0).astype(int) == y[te]).mean()

print(f"원래 이름표로 돌린 점수        {leaky_pipeline(X, y):.3f}")
print()
print("이름표를 무작위로 섞어 같은 파이프라인을 20번 돌린다.")
print("파이프라인이 깨끗하다면 0.5 근처가 나와야 한다.")
shuffled = [leaky_pipeline(X, rng.permutation(y)) for _ in range(20)]
print(f"  섞은 이름표 평균 점수        {np.mean(shuffled):.3f}")
print(f"  범위                        {np.min(shuffled):.3f} ~ {np.max(shuffled):.3f}")
print()
print("0.5 로 안 내려간다. 어딘가 새고 있다는 증거다.")
print()
print("이 검사는 공짜다. 파이프라인을 그대로 두고 y 만 섞으면 된다.")
print("논문을 내기 전에 한 번은 돌려 볼 값어치가 있다.")

고등학생누출을 막는 구조

의심만으로는 부족합니다. 구조적으로 막아야 해요.

파이프라인을 하나의 객체로 묶는다

이렇게 생각합니다

모형이란	포함하는 것
계수만	틀린 생각
전처리 + 선택 + 계수 + 문턱	전부가 모형 ✔

훈련 자료에서 배운 모든 것이 모형의 일부다

그러면 규칙이 하나로 정리됩니다

모형은 훈련 조각만 본다 — 예외 없이

계산	어디서
평균 · 표준편차	훈련 조각
결측 대치값	훈련 조각
선택된 특징	훈련 조각
PCA 축	훈련 조각
문턱	검증 조각 (9강)

이 표를 붙여 두면 대부분의 누출이 막힌다

그리고 시간 순서를 기록한다

기록할 것	왜
각 특징이 언제 측정됐나	미래 정보를 거른다
결과가 언제 확정됐나	—

"예측 시점" 을 명시하면 대리 변수가 드러난다

비유 — 봉인된 시험지

방식	신뢰
"안 봤습니다" 라고 말한다	약하다
봉인해서 못 보게 한다	강하다 ✔

의지가 아니라 구조로 막는다 — 사람은 실수하니까

🤔 확인 문제

유전자 2만 개에서 결과와 상관 높은 50개를 고르고, 그 50개로 5겹 교차검증을 해 AUC 0.93 을 얻었습니다. 문제는?