Lesson 15 of 20

사전학습 — 남의 모형을 가져다 쓰는 이유

표본이 적을 때 딥러닝을 쓸 수 있게 만든 것

딥러닝의 벽은 늘 같았습니다 — 자료가 모자란다. 환자 200명으로 파라미터 수백만 개를 배울 수는 없어요(8강).

그런데 대부분의 자료에는 이름표가 없어도 배울 것이 있습니다.

1단계 · 사전학습    이름표 없는 자료 수억 개로
                    "가려진 부분을 맞혀 봐" 를 되풀이한다
                    → 그 자료의 일반적인 구조를 배운다

2단계 · 미세조정    내 자료 200개로 마지막 부분만 다시 배운다
                    → 앞쪽이 이미 쓸 만한 특징을 만들어 준다

이것을 전이학습이라고 하고, 지금 생물학 딥러닝의 대부분이 이 방식입니다.

High school남의 모형을 가져다 쓰는 이유

3강에서 봤듯 딥러닝은 자료가 많이 필요합니다. 그런데 대부분의 문제는 자료가 적어요.

사전학습이 그 간극을 메웠다

발상

단계	자료	배우는 것
사전학습	거대 · 라벨 없음	일반적인 표현
미세조정	작음 · 라벨 있음	내 과제

어려운 부분은 남이 해 뒀고 나는 마무리만 한다

왜 통하나

1강에서 말했듯 딥러닝은 특징을 배웁니다. 그런데 그 특징이 과제마다 크게 다르지 않아요.

과제	필요한 저수준 특징
고양이 인식	가장자리 · 무늬 · 모양 — 같다
암 조직 판독
위성 사진 분석

밑바탕은 공유되고 윗부분만 다르다 — 그래서 옮겨진다

비유 — 언어를 배운 뒤 전공하기

단계	필요한 시간
한국어를 배운다	수년
그 위에 생물학을 배운다	훨씬 적게 ✔

언어를 다시 배우지 않는다 — 그게 전이학습이다

표본이 적을수록 차이가 큽니다. <b>환자 수는 못 늘려도 사전학습 모형은 가져올 수 있어요.</b>

Python Runs in your browser

# 좋은 특징이 이미 있으면 표본이 적어도 된다
import numpy as np
rng = np.random.default_rng(171)

def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

# '사전학습' 을 흉내낸다 - 원래 자료의 진짜 구조를 아는 변환
D, K = 40, 6
B = rng.normal(0, 1, (D, K))            # 진짜로 중요한 K개 방향
w_true = rng.normal(0, 1, K)

def make(n, r):
    X = r.normal(0, 1, (n, D))
    z = (X @ B) @ w_true
    return X, (r.random(n) < sigmoid(z)).astype(float)

Xte, yte = make(4000, np.random.default_rng(9))

def train_raw(Xtr, ytr, h=48, steps=900, lr=0.5, seed=0):
    r = np.random.default_rng(seed)
    W1 = r.normal(0, np.sqrt(2/D), (D, h)); b1 = np.zeros(h)
    W2 = r.normal(0, np.sqrt(2/h), (h, 1)); b2 = np.zeros(1)
    n = len(Xtr)
    for _ in range(steps):
        Z1 = Xtr @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
        d2 = ((p - ytr)/n)[:, None]; d1 = (d2 @ W2.T) * (Z1 > 0)
        W2 -= lr*(A1.T @ d2); b2 -= lr*d2.sum(0)
        W1 -= lr*(Xtr.T @ d1); b1 -= lr*d1.sum(0)
    p = sigmoid(np.maximum(Xte @ W1 + b1, 0) @ W2 + b2).ravel()
    return ((p > .5) == (yte == 1)).mean()

def train_pretrained(Xtr, ytr, steps=900, lr=0.5):
    # 사전학습된 앞부분(B)은 고정하고 마지막 층만 배운다
    H = Xtr @ B
    w = np.zeros(K + 1); n = len(Xtr)
    A = np.column_stack([np.ones(n), H])
    for _ in range(steps):
        w -= lr * (A.T @ (sigmoid(A @ w) - ytr)) / n
    Ate = np.column_stack([np.ones(len(Xte)), Xte @ B])
    return ((sigmoid(Ate @ w) > .5) == (yte == 1)).mean()

print("  훈련 표본   처음부터 학습   사전학습 + 미세조정")
for n in [30, 60, 150, 600]:
    Xtr, ytr = make(n, rng)
    print(f"  {n:9d}   {train_raw(Xtr, ytr):13.3f}   {train_pretrained(Xtr, ytr):19.3f}")
print()
print("표본이 적을수록 차이가 크다.")
print("자료가 많아지면 처음부터 배운 쪽도 따라잡는다.")
print()
print("이것이 '남의 모형을 가져다 쓰는' 일이 생물학에서 특히 값진 이유다 -")
print("환자 수는 늘릴 수 없지만, 사전학습된 모형은 가져올 수 있다.")

High school자기지도 학습이 연 문

사전학습의 열쇠는 라벨 없이 배우는 방법이었습니다.

자료의 일부를 가리고 맞히게 한다 — 라벨이 저절로 생긴다

과제들

분야	가리는 것
언어	단어를 가리고 맞히기
언어 (생성)	다음 단어 맞히기
단백질	아미노산을 가리고 맞히기 ⭐
이미지	일부를 가리거나 두 변형이 같은지

사람이 라벨을 안 붙여도 자료 자체가 문제를 만든다

왜 이게 혁명이었나

자료	양
라벨 있는 자료	수만~수백만 — 비싸다
라벨 없는 자료	사실상 무한 ✔

병목이 라벨이었는데 그 병목이 사라졌다

그런데 왜 가리기만 해도 배우나

가려진 것을 맞히려면 맥락을 이해해야 하기 때문입니다.

문장	빈칸을 맞히려면
"의사가 환자를 ___ 했다"	문법 · 의미 · 상식을 알아야

빈칸 맞히기는 겉보기보다 어려운 과제다

비유 — 빈칸 채우기 문제집

선생님이 문제를 만들 필요가 없습니다. 아무 글이나 가져다 단어를 지우면 문제가 되죠.

문제를 무한히 만들 수 있다 — 그게 자기지도의 힘이다

High school생물학에서 무엇이 사전학습되어 있나

note 의 이 목록을 왜 통하는지와 함께 봅시다.

모형	사전학습 자료	배운 것
단백질 언어모형	알려진 서열 수억 개	서열의 문법
병리 영상 모형	슬라이드 수만 장	조직의 질감
단일세포 모형	세포 수천만 개	발현 패턴

라벨이 없는 자료가 이미 산더미였다 — 쓸 방법이 없었을 뿐

단백질 언어모형이 놀라운 이유

서열만 보고 배웠는데 구조 정보가 딸려 옵니다.

배운 것	왜 배워지나
어떤 아미노산이 함께 변하나	구조적으로 접촉하니까
어디가 보존되나	중요한 자리

"서열이 진화적으로 어떻게 변해 왔나" 에 구조가 새겨져 있다

공진화라는 신호

두 아미노산이 접촉하면 하나가 변할 때 다른 하나도 함께 변해야 합니다.

관찰	추론
두 자리가 항상 짝지어 변한다	공간에서 가깝다 ⭐

서열만으로 3차원 접촉을 짐작할 수 있다 — 16강의 뿌리다

비유 — 편지의 맞춤법

수많은 편지를 읽으면 규칙이 보입니다. 누가 가르쳐 주지 않아도요.

읽는 양	알게 되는 것
적게	단어
아주 많이	문법 · 문체 · 관용 ✔

진화가 써 온 수억 통의 편지가 단백질 서열이다

High school미세조정에서도 /ml 의 규칙은 그대로다

note 의 이 경고가 실무에서 자주 어겨집니다.

남의 모형을 썼다고 규칙이 느슨해지지 않는다

오히려 새 위험이 생깁니다

위험	설명
사전학습 자료에 내 시험 자료가	이미 봤을 수 있다 ⚠
미세조정 반복	시도 횟수가 는다
모형이 매우 크다	작은 자료를 즉시 외운다

첫 번째가 새로운 종류의 정보 누출이다

실제로 문제가 됩니다

단백질 모형이 PDB 전체로 사전학습됐다면, 내 시험 단백질도 이미 봤을 가능성이 있죠.

확인	방법
사전학습 시점	내 자료가 그 뒤에 나왔나
서열 유사도	훈련셋과 비슷한 것을 뺀다 ⭐

단백질에서는 서열 유사도 30% 이하로 나누는 것이 관례다

그리고 과적합이 빠릅니다

상황	과적합 시점
처음부터 학습	수십 에폭
미세조정	1~3 에폭 ⚠

모형이 이미 강력해서 금세 외운다 — 조기 종료가 필수다

비유 — 전학 온 우등생

이미 배운 학생이 새 학교 문제를 봅니다.

상황	—
새 유형	빨리 배운다 ✔
전에 풀어 본 문제	실력이 아니다 ⚠

"전에 봤는지" 를 확인하는 것이 새로 생긴 숙제다

🤔 Check yourself

환자 150명의 병리 슬라이드로 분류기를 만들려 합니다. 가장 합리적인 접근은?