18강 / 20강

딥러닝에서 특히 잘 속는 것들

/ml 의 함정이 여기서 더 심해진다

/ml 20강의 함정 다섯이 여기서 전부 더 심해집니다. 모형이 크고, 손잡이가 많고, 돌릴 때마다 결과가 다르기 때문이에요.

고등학생/ml 의 함정이 여기서 더 심해진다

1강에서 예고한 그 이야기입니다.

모형이 클수록 속기 쉽고 알아채기 어렵다

왜 더 심해지나

딥러닝의 성질	결과
용량이 크다	어떤 지름길도 배운다
불투명하다	지름길을 못 본다
손잡이가 많다	시도가 늘어 부풀려진다
무작위성	운 좋은 결과를 고르게 된다

첫 두 개의 조합이 특히 나쁘다 — 배우는데 안 보인다

지름길 학습이란

과제를 제대로 푸는 대신 쉬운 신호를 찾는 것입니다.

과제	지름길
폐렴 판독	휴대용 X선 기기 표시 — 중환자실 것
피부암 판독	자(눈금자) — 병원 사진에만 있다
코로나 판독	자세 · 촬영 각도

전부 실제 논문에서 나온 사례다

비유 — 지름길로 등교하기

학교에 제시간에 도착합니다. 그런데 담을 넘어 왔다면?

상황	결과
그 학교	통한다
다른 학교	담이 없다 — 못 간다 ⚠

지름길은 그 환경에만 있다 — 옮기면 무너진다

딥러닝에만 있는 것 셋

무엇	어떻게 알아채나
지름길 학습	엉뚱한 단서로 맞힌다 — 자·라벨·워터마크·기관 표식
안 배운다	손실이 처음부터 안 내려간다 — 학습률·초기화부터 본다(5·6강)
씨앗 흔들림	같은 설정으로 돌려도 점수가 다르다(10강)

첫 줄이 특히 유명하고 특히 위험합니다.

고등학생실제로 있었던 일들

note 가 든 사례들을 공통 구조로 정리해 봅시다.

전부 "환경이 답을 흘린" 경우다

사례 ① — 자(ruler)

관찰	추론
악성 병변 사진에 자가 자주 있다	의사가 크기를 재려고 뒀다
모형이 자를 찾는다	피부는 안 본다 ⚠

사람이 이미 의심했기 때문에 자를 놓은 것이다 — 결과의 흔적

/ml 16강의 대리 변수 입니다. 자는 진단의 결과지 원인이 아니에요.

사례 ② — 병원 표시

신호	왜 생겼나
영상 구석의 기기 표시	중증 환자는 휴대용으로 찍는다

중증도가 촬영 방식에 새겨져 있다

사례 ③ — 자료셋 편향

양성 자료	음성 자료	문제
병원 A	병원 B	병원만 알아보면 된다 ⚠

가장 흔하고 가장 안 보이는 형태다

공통 대책

방법	설명
다른 기관 검증	가장 확실 ✔
있으면 안 될 것을 예측	병원·기기를 맞혀 본다 (17강)
모형이 어디를 보나	중요도 지도 (Grad-CAM 등)
메타데이터 제거	구석을 잘라낸다

세 번째가 딥러닝판 /ml 18강이다 — 눈으로 확인한다

같은 기관에서는 훌륭하고 <b>다른 기관에서 무너집니다</b>. 외부 검증이 필요한 이유예요.

Python 브라우저에서 실행

# 지름길 학습 - 엉뚱한 단서가 있으면 그것부터 잡는다
import numpy as np
rng = np.random.default_rng(201)

def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

N, D = 800, 20
# 진짜 신호는 어렵다 (약하게 흩어져 있다)
X = rng.normal(0, 1, (N, D))
y = (X[:, :5].sum(1) + rng.normal(0, 2.0, N) > 0).astype(float)

def train(Xtr, ytr, Xte, yte, h=32, steps=1200, lr=0.4, seed=0):
    r = np.random.default_rng(seed); d = Xtr.shape[1]
    W1 = r.normal(0, np.sqrt(2/d), (d, h)); b1 = np.zeros(h)
    W2 = r.normal(0, np.sqrt(2/h), (h, 1)); b2 = np.zeros(1)
    n = len(Xtr)
    for _ in range(steps):
        Z1 = Xtr @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
        d2 = ((p - ytr)/n)[:, None]; d1 = (d2 @ W2.T) * (Z1 > 0)
        W2 -= lr*(A1.T @ d2); b2 -= lr*d2.sum(0)
        W1 -= lr*(Xtr.T @ d1); b1 -= lr*d1.sum(0)
    pe = sigmoid(np.maximum(Xte @ W1 + b1, 0) @ W2 + b2).ravel()
    return ((pe > .5) == (yte == 1)).mean()

tr, te = slice(0, 600), slice(600, N)
base = train(X[tr], y[tr], X[te], y[te])

# 이제 '지름길' 을 심는다 - 정답을 거의 그대로 담은 열 하나 (예: 촬영 기관 표식)
short = y * 3 + rng.normal(0, 0.3, N)
Xs = np.column_stack([X, short])
with_short = train(Xs[tr], y[tr], Xs[te], y[te])

# 그런데 다른 기관에서는 그 표식이 반대로 붙어 있다면?
short_flip = (1 - y) * 3 + rng.normal(0, 0.3, N)
Xf = np.column_stack([X, short_flip])
transferred = train(Xs[tr], y[tr], Xf[te], y[te])

print(f"지름길 없이 학습          시험 정확도 {base:.3f}")
print(f"지름길이 있는 자료로 학습  같은 기관에서 {with_short:.3f}   <- 훌륭해 보인다")
print(f"                          다른 기관에서 {transferred:.3f}   <- 무너진다")
print()
print("모형은 어려운 진짜 신호 대신 쉬운 지름길을 잡았다.")
print("같은 기관 자료로 시험하면 안 보이고, 다른 기관에 가야 드러난다.")
print()
print("그래서 마지막 시험은 **다른 기관·다른 시기**의 자료로 해야 한다.")

고등학생지역 최소점은 생각보다 문제가 아니다

note 의 이 지적이 오래된 오해를 바로잡습니다.

교과서적 걱정 — "골짜기에 갇히면 어쩌나"

그런데 실제로는

차원	지역 최소점
2~3차원	흔하다 — 직관이 여기서 왔다
수백만 차원	드물다 ✔

모든 방향에서 동시에 올라가야 최소점이다 — 확률이 낮다

대신 안장점이 많습니다

지점	모양
최소점	모든 방향이 올라간다
안장점	어떤 방향은 내려간다 ⭐

안장점은 빠져나갈 길이 있다 — 7강의 잡음이 도와준다

비유 — 산과 고개

지형	—
분화구 (최소점)	사방이 벽 — 못 나간다
고개 (안장점)	앞뒤는 내리막 ✔

고차원에서는 고개가 압도적으로 많다

그럼 진짜 문제는 무엇인가

진짜 문제	강
과적합	8강 ⭐
지름길 학습	18강 ⭐
기울기 소실	6강
학습률	5강

최적화는 대체로 잘 된다 — 문제는 무엇을 최적화했나 다

손실을 완벽히 줄였는데 엉뚱한 것을 배웠을 수 있으니까요.

고등학생확신에 찬 오답

딥러닝 특유의 불편한 성질이 하나 더 있습니다.

모르는 것에도 높은 확신으로 답한다

무슨 뜻인가

입력	모형의 답
학습한 것과 비슷	정확 · 확신 높음 ✔
전혀 다른 것	틀린 답 · 확신 높음 ⚠

"모르겠다" 를 기본으로는 말하지 않는다

왜 그런가

소프트맥스는 반드시 확률의 합을 1로 만듭니다. "전부 아니다" 라는 선택지가 없어요.

구조적으로 기권할 수 없다

그래서 위험한 상황

상황	위험
학습에 없던 희귀 질환	있는 것 중 하나로 확신있게 분류 ⚠
다른 기관 자료	—
영상 품질이 나쁨	—

의료에서 이건 심각한 문제다 — 16강의 pLDDT 가 그래서 중요했다

대책들

방법	설명
보정	`/ml` 10강 — 온도 조절 등
앙상블	여러 모형이 엇갈리면 불확실
분포 밖 탐지	"학습 자료와 다른가" 를 따로 판단
기권 선택지	"모르겠음" 을 클래스로 둔다

두 번째가 실용적이다 — 서로 다른 seed 모형들의 의견 차이를 본다

비유 — 확신에 찬 초보

사람	모르는 것 앞에서
전문가	"확실하지 않다" ✔
초보	자신 있게 틀린다 ⚠

신뢰할 만한 모형은 모른다고 말할 줄 안다

🤔 확인 문제

병리 이미지 모형이 자기 병원 자료에서 AUC 0.96, 다른 병원에서 0.61 이었습니다. 가장 그럴듯한 원인은?