20강 / 20강

정리 — 언제 쓰고 언제 안 쓰나

깊은 것이 언제나 이기지는 않는다

스무 강을 한 문장으로 줄이면 이렇습니다.

딥러닝은 특징을 스스로 만드는 방법이다

그것이 강점이자 약점입니다. 자료가 많고 구조가 있으면 사람보다 잘 만들고, 자료가 적으면 잡음을 특징이라고 우깁니다.

고등학생깊은 것이 언제나 이기지는 않는다

부제가 정직한 결론입니다.

딥러닝이 이기는 조건이 정해져 있다

이기는 조건

조건	설명
자료가 많다	수만~수억
구조가 있다	이미지 · 서열 · 소리 — 이웃 관계가 의미 있다
특징을 손으로 못 만든다	—
사전학습 모형이 있다	15강 — 자료가 적어도 가능해진다

넷 중 둘 이상이 맞아야 고려할 만하다

지는 조건

상황	더 나은 것
표 형태 자료	부스팅 · 선형 ⭐
표본이 수백	선형 · 규제
설명이 필요	선형 · 나무
특징이 이미 좋다	단순 모형

표 자료에서 딥러닝이 지는 것은 반복 확인된 사실이다

왜 표 자료에서 지나

11강에서 봤죠 — 딥러닝의 강점은 구조에 넣은 가정에서 나옵니다.

자료	쓸 수 있는 가정
이미지	이웃 · 이동 불변 ✔
서열	순서 · 국소 패턴 ✔
표	없다 — 열 순서에 의미가 없다

쓸 가정이 없으면 이점도 없다

언제 쓰고 언제 안 쓰나

상황	답
표본이 수백 개	규제 건 선형 · 부스팅 (`/ml` 11·12강)
표 형태 자료 (행=표본, 열=특징)	부스팅이 대개 이긴다
이미지 · 서열 · 소리	딥러닝 — 구조를 심어 둘 수 있다(11·13강)
표본이 수만~수백만	딥러닝
사전학습 모형이 있다	딥러닝 — 표본이 적어도 된다(15강)
계수를 해석해야 한다	선형 모형

둘째 줄이 자주 잊힙니다. 생물 자료의 상당수가 표 형태이고, 거기서는 /ml 12강의 부스팅이 딥러닝을 이기는 경우가 아주 흔합니다.

고등학생이 20강이 남기는 것

도구와 습관으로 나눠 봅시다.

도구

영역	배운 것	강
기본	뉴런 · 층 · 역전파	2~4
학습	학습률 · 배치 · 옵티마이저	5·7
깊이	초기화 · ReLU · 잔차 · 정규화	6·9
구조	합성곱 · 순환 · 어텐션 · 트랜스포머	11~14
실전	규제 · 튜닝 · 사전학습	8·10·15

그런데 진짜 남는 것은 하나의 물음입니다

"이 자료에 어떤 구조가 있는가"

구조	맞는 모형
이웃이 관련 있다	합성곱
순서가 있다	순환 · 어텐션
먼 관계가 있다	어텐션
구조가 없다	딥러닝을 안 쓴다

모형은 자료의 구조에 대한 가정이다 — 그게 전부다

반복해 나온 다섯 가지

곱셈이 쌓이면 극단으로 간다 (4·6·12강)
지름길을 만들면 깊어질 수 있다 (6·14강)
가중치를 나눠 쓰면 자료가 덜 든다 (11·14강)
잡음이 도움이 되기도 한다 (7·8·9강)
기준선보다 나은지 확인한다 (1·19·20강)

구조가 바뀌어도 이 다섯은 그대로다

굽힐 것이 없는 자료에서는 <b>단순한 쪽이 이깁니다</b>. 자료가 많아져야 비슷해져요.

Python 브라우저에서 실행

# 자료가 적으면 단순한 쪽이 이긴다
import numpy as np
rng = np.random.default_rng(221)
def sigmoid(t): return 1/(1+np.exp(-np.clip(t, -30, 30)))

D = 12
w_true = rng.normal(0, 1, D)
def make(n, r):
    X = r.normal(0, 1, (n, D))
    return X, (r.random(n) < sigmoid(X @ w_true * 0.8)).astype(float)

Xte, yte = make(4000, np.random.default_rng(5))

def logistic(Xtr, ytr):
    A = np.column_stack([np.ones(len(Xtr)), Xtr]); w = np.zeros(D+1)
    for _ in range(900):
        w -= 0.4*(A.T @ (sigmoid(A @ w) - ytr))/len(ytr) + 0.01*np.r_[0, w[1:]]
    p = sigmoid(np.column_stack([np.ones(len(Xte)), Xte]) @ w)
    return ((p > .5) == (yte == 1)).mean()

def net(Xtr, ytr, h=48, seed=0):
    r = np.random.default_rng(seed)
    P = [r.normal(0, np.sqrt(2/D), (D, h)), np.zeros(h),
         r.normal(0, np.sqrt(2/h), (h, 1)), np.zeros(1)]
    n = len(Xtr)
    for _ in range(900):
        Z1 = Xtr @ P[0] + P[1]; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ P[2] + P[3]).ravel(), 1e-9, 1-1e-9)
        d2 = ((p - ytr)/n)[:, None]; d1 = (d2 @ P[2].T) * (Z1 > 0)
        P[2] -= .5*(A1.T @ d2); P[3] -= .5*d2.sum(0)
        P[0] -= .5*(Xtr.T @ d1); P[1] -= .5*d1.sum(0)
    p = sigmoid(np.maximum(Xte @ P[0] + P[1], 0) @ P[2] + P[3]).ravel()
    return ((p > .5) == (yte == 1)).mean()

print("정답이 실제로 선형인 자료 (딥러닝이 굽힐 것이 없다)")
print()
print("  훈련 표본   로지스틱 회귀   신경망")
for n in [40, 100, 400, 1500]:
    Xtr, ytr = make(n, rng)
    print(f"  {n:9d}   {logistic(Xtr, ytr):13.3f}   {net(Xtr, ytr):7.3f}")
print()
print("표본이 적을 때는 단순한 쪽이 낫다 - 굽힐 것이 없는데 굽힐 수 있으면 손해다.")
print("자료가 많아지면 비슷해진다.")
print()
print("딥러닝을 안 쓰는 것도 하나의 답이다.")

네 강의가 서로의 빈 칸을 채운다

물음	어느 강의
이 차이가 우연인가	`/stat` 확률과 통계
이 규칙이 새 자료에서도 되나	`/ml` 기계학습
모형을 더 굽히려면	이 강의
이것이 원인인가	`/epi` · `/reg`

이 강의는 /ml 안쪽의 한 칸입니다. 그래서 /ml 의 규칙이 하나도 느슨해지지 않습니다 — 나누기, 과적합, 정보 누출, 그리고 중요도를 인과로 읽지 않기(/ml 18강)까지 전부요.

고등학생맞바꿈으로 정리하기

이 강의 전체를 무엇을 내주고 무엇을 얻었나 로 봅시다.

얻는 것	내주는 것	어디서
표현력	자료 · 계산	1·3강
깊이	학습의 어려움	6강
속도	기울기 정확도	7강 미니배치
일반화	훈련 성능	8강 규제
거리 무관	계산량 n²	13강 어텐션
적은 자료로	남의 편향도 물려받음	15강
정확도	설명 가능성	18강

공짜는 없다 — 무엇을 내줄지 고르는 것이 설계다

마지막 줄이 가장 무겁습니다

의료·과학에서는 설명이 필요한 경우가 많습니다.

상황	필요
연구 발견	왜 그런지 ⭐
규제 승인	근거
환자 설명	이유
대량 선별	맞히기만 해도 ✔

"쓸 수 있는가" 는 정확도만으로 정해지지 않는다

그리고 겸손

8강에서 봤듯 왜 일반화가 되는지 아직 완전히 설명되지 않았습니다.

쓸 줄 아는 것과 이해하는 것은 아직 다르다 — 정직하게 말하면

이건 부끄러운 일이 아니라 연구가 진행 중이라는 뜻입니다.

이어서 볼 강의

강의	어떻게 이어지나
`/ml` 기계학습	이 강의의 바깥 칸 — 채점과 함정의 규칙 전부
`/stat` 확률과 통계	10강의 '씨앗 흔들림' 을 어떻게 보고할지
`/la` 선형대수학	2강의 내적과 14강의 행렬 곱이 사는 곳
`/til` 종양침윤림프구	17강의 슬라이드 조각이 만들어지는 곳
`/chem` 화학	16강의 '접히는 힘' 이 나오는 곳
`/antigen` 항원제시	결합 예측 — 서열 모형이 실제로 쓰이는 자리

고등학생여기서 어디로

마지막으로 다음 걸음을 정리합니다.

관심	다음
기본을 다지고 싶다	`/ml` — 이 강의의 토대
"우연인가" 를 더	`/stat`
실제 생물 자료	`/bulk` · `/til` · `/spatial`
계산 자원	`/ca` — GPU · 메모리

첫 줄이 진심이다 — /ml 을 안 봤다면 거기가 먼저다

실무로 갈 때

할 일	설명
PyTorch 를 배운다	여기서 손으로 짜 봤으니 쉽다
사전학습 모형부터	15강 — 처음부터 학습할 일은 드물다
기준선을 먼저	19강

직접 짜 본 사람은 도구를 더 잘 쓴다 — 1강의 약속이었다

마지막 조언

이 분야는 빠르게 바뀝니다. 그런데 바뀌는 것과 안 바뀌는 것이 있어요.

빠르게 바뀐다	거의 안 바뀐다
최신 구조 이름	과적합의 원리
라이브러리 API	누출을 막는 법
최고 성능 기록	정직하게 채점하는 법

오른쪽 열을 배웠다면 왼쪽은 언제든 따라잡을 수 있다

여기까지 오신 것을 축하합니다 🎉

이제 대학생 눈높이로 한 번 더 읽어 보세요 — 수식과 코드가 훨씬 잘 읽힐 겁니다.

🤔 확인 문제

환자 300명의 임상 변수 20개로 예후를 예측하려 합니다. 가장 합리적인 첫 시도는?

🤔 확인 문제

이 20강 전체를 한 문장으로 줄이면?

해설 특징을 사람이 만들면 /ml 3강이고 자료에서 배우면 이 강의입니다. 그 배움에는 자료가 많이 들고, 그래서 적을 때는 단순한 쪽이 이겨요.