5강 / 20강

학습 — 손실을 굴러 내려간다

학습률 하나가 되고 안 되고를 가른다

기울기를 알았으니 이제 움직입니다.

w ← w − η · ∂L/∂w

η(에타)가 학습률, 즉 보폭입니다. 그리고 딥러닝에서 가장 먼저 만져야 할 손잡이가 이것입니다.

고등학생손실을 굴러 내려간다

학습이 무엇인지 한 문장으로 말하면 —

손실이 가장 낮은 가중치를 찾는 일

어떻게 찾나

가중치가 백만 개면 전부 시도할 수 없습니다. 그래서 내리막 방향으로 조금씩 갑니다.

단계	하는 일
1	지금 자리에서 기울기를 잰다 (4강)
2	기울기 반대 방향으로 조금 간다
3	반복

"얼마나 조금" 이 학습률이다

비유 — 안개 속 하산

산에서 안개 때문에 아무것도 안 보입니다. 어떻게 내려갈까요?

할 수 있는 것	대응
발밑의 기울기는 느낀다	기울기 계산
가장 가파른 내리막으로 한 걸음	경사하강
반복	—

전체 지형을 몰라도 내려갈 수 있다

보폭이 중요합니다

보폭	결과
너무 작다	영원히 못 내려간다
적당	내려간다 ✔
너무 크다	골짜기를 건너뛴다 — 왔다 갔다

부제 그대로 — 학습률 하나가 되고 안 되고를 가른다

너무 작으면 안 가고 너무 크면 <b>터집니다</b>. 사이의 폭이 좁아요.

Python 브라우저에서 실행

# 학습률 하나가 되고 안 되고를 가른다
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(41)

def make(n, r):
    X = r.normal(0, 1, (n, 2))
    return X, ((X[:,0]**2 + X[:,1]**2) < 1.4).astype(float)

X, y = make(500, rng)
def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

def run(lr, steps=400, h=12, seed=0):
    r = np.random.default_rng(seed)
    W1 = r.normal(0, .8, (2, h)); b1 = np.zeros(h)
    W2 = r.normal(0, .8, (h, 1)); b2 = np.zeros(1)
    n = len(X); hist = []
    for _ in range(steps):
        Z1 = X @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
        hist.append(-np.mean(y*np.log(p) + (1-y)*np.log(1-p)))
        d2 = ((p - y)/n)[:, None]
        d1 = (d2 @ W2.T) * (Z1 > 0)
        W2 -= lr*(A1.T @ d2); b2 -= lr*d2.sum(0)
        W1 -= lr*(X.T @ d1);  b1 -= lr*d1.sum(0)
    return np.array(hist)

fig, ax = plt.subplots()
for lr in [0.001, 0.05, 0.5, 5.0, 50.0]:
    hi = run(lr)
    ax.plot(hi, label=f"lr={lr}")
ax.set_yscale("log"); ax.set_xlabel("step"); ax.set_ylabel("loss (log)")
ax.legend(fontsize=8)
plt.show()

print("  학습률    400걸음 뒤 손실")
for lr in [0.001, 0.05, 0.5, 5.0, 50.0]:
    hi = run(lr)
    end = hi[-1]
    tag = ("거의 안 움직임" if lr <= 0.001 else
           "터짐" if not np.isfinite(end) or end > hi[0] else "잘 내려감")
    print(f"  {lr:7.3f}   {end:12.5f}   {tag}")
print()
print("너무 작으면 안 가고, 너무 크면 발산한다.")
print("사이의 폭이 생각보다 좁다 - 그래서 로그 눈금으로 훑는다 (0.001, 0.01, 0.1, 1 ...)")

고등학생학습률이 잘못됐을 때의 증상

실전에서 증상으로 진단할 수 있습니다.

손실 곡선	진단	처방
NaN 이 뜬다	학습률이 너무 크다	10배 줄인다
들쭉날쭉 안 내려간다	크다	줄인다
거의 평평	너무 작다	10배 늘린다
내려가다 멈춤	적당했다가 커진 것	스케줄로 줄인다

손실 곡선을 반드시 그려 본다 — 숫자만 보면 모른다

NaN 은 왜 뜨나

큰 걸음으로 가면 손실이 더 커집니다. 그러면 기울기도 커지고, 또 큰 걸음을 가고…

반복	값
1	100
2	10,000
3	넘침 → NaN

발산은 몇 걸음 만에 일어난다 — 순식간이다

비유 — 그릇 안의 구슬

미는 힘	결과
약하게	천천히 바닥으로
세게	반대편 벽을 타고 올라간다
아주 세게	그릇 밖으로 튕겨 나간다 ⚠

그릇 밖으로 나가면 돌아올 수 없다 — NaN 이 그 상태다

NaN 이 한 번 뜨면 모든 가중치가 NaN 이 됩니다. 처음부터 다시 해야 해요.

손실함수 — 무엇을 줄일 것인가

문제	마지막 층	손실
이진 분류	로지스틱	교차엔트로피 −[y log p + (1−y) log(1−p)]
다중 분류	소프트맥스	교차엔트로피
회귀	없음 (항등)	제곱오차 (y − ŷ)²

분류에 제곱오차를 쓰면 안 되는 이유가 있습니다 — 확실하게 틀렸을 때 기울기가 거의 0 이 되어 배우질 못해요. 교차엔트로피는 반대로 틀릴수록 크게 밀어 줍니다.

크게 틀렸을 때 제곱오차의 기울기는 <b>거의 0</b> 입니다. 그래서 분류에는 교차엔트로피를 씁니다.

Python 브라우저에서 실행

# 왜 분류에 제곱오차를 안 쓰나
import numpy as np

def sigmoid(z): return 1/(1+np.exp(-z))
z = np.linspace(-8, 8, 17)
p = sigmoid(z)
y = 1.0                                    # 정답은 1 인데

# 제곱오차의 기울기 (z 에 대해)
g_sq = (p - y) * p * (1 - p)
# 교차엔트로피의 기울기
g_ce = (p - y)

print("정답은 1. 모형이 z 를 얼마로 내놓았을 때 기울기가 얼마인가")
print()
print("      z      모형의 확률    제곱오차 기울기   교차엔트로피 기울기")
for i in range(0, 17, 2):
    print(f"  {z[i]:6.1f}   {p[i]:11.4f}   {g_sq[i]:15.6f}   {g_ce[i]:17.4f}")
print()
print("z = -8 을 보라. 정답이 1 인데 모형은 0.0003 이라 답했다 - 크게 틀렸다.")
print("그런데 제곱오차의 기울기는 거의 0 이다. 밀어 줄 힘이 없다.")
print("교차엔트로피는 -1 에 가깝다 - 틀린 만큼 밀어 준다.")

고등학생학습률을 고르는 순서

note 의 순서를 왜 그런지와 함께.

① 크게 시작해 줄여 간다

시도	확인
0.1	발산하나?
0.01	—
0.001	—

10배씩 줄인다 — 미세 조정은 나중이다

/ml 11강의 λ 와 같습니다. 배수가 의미 있지 차이가 아니에요.

② 발산 직전이 대개 좋다

학습률	결과
발산하는 값	못 쓴다
그 1/3 쯤	대개 좋다 ✔

"안전한 최대치" 근처가 가장 빠르다

③ 스케줄을 쓴다

처음엔 크게, 나중엔 작게 합니다.

시기	필요
초반	빨리 내려간다 — 큰 걸음
후반	정밀하게 — 작은 걸음

골짜기에 가까워지면 보폭을 줄인다 — 안 그러면 넘나든다

④ 워밍업

맨 처음 몇 걸음은 아주 작게 시작합니다.

이유	설명
초기 가중치는 무작위	기울기가 엉뚱하다
큰 걸음을 가면	이상한 곳으로 간다

트랜스포머 학습에서 워밍업은 거의 필수다 (14강)

비유 — 운전 배우기

단계	속도
처음	아주 천천히 — 워밍업
익숙해지면	빠르게
주차할 때	다시 천천히 — 스케줄

고등학생옵티마이저 — 굴러가는 방식

단순한 경사하강 말고 더 나은 방법들이 있습니다.

방법	발상
SGD	기울기 방향으로 그냥
모멘텀	관성을 준다
Adam	파라미터마다 보폭을 다르게 ⭐

실무 기본값은 Adam 이다 — 손이 덜 간다

모멘텀이 왜 좋은가

골짜기가 길쭉하면 지그재그로 갑니다.

	지그재그 방향	골짜기 방향
기울기	크다	작다
가야 할 방향	—	이쪽 ⭐

모멘텀은 지그재그를 상쇄하고 일관된 방향을 누적한다

비유 — 언덕 사이 골짜기 굴러가기

공	움직임
관성이 없다	양쪽 벽을 왔다 갔다
관성이 있다	흔들리며 앞으로 나아간다 ✔

좌우 흔들림은 서로 지우고 전진은 쌓인다

Adam 이 하는 일

파라미터마다 기울기 크기가 다릅니다. Adam 은 각자에게 맞는 보폭을 줍니다.

기울기가	보폭
계속 크다	줄인다
계속 작다	늘린다

그래서 학습률 조정이 덜 예민해진다 — 편해진다

🤔 확인 문제

손실이 처음 몇 걸음 만에 NaN 이 되었습니다. 가장 먼저 의심할 것은?