7강 / 20강

미니배치 — 전부 보지 않고 조금씩 본다

잡음이 오히려 도움이 되는 자리

5강의 경사하강은 매 걸음마다 전체 자료를 봤습니다. 표본이 백만 개면 한 걸음에 백만 개를 계산해야 해요.

그래서 조금씩 나눠 봅니다.

방식	한 걸음에 보는 것	성격
배치 경사하강	전체	정확하지만 느리다
미니배치 SGD	32~256개쯤	실제로 쓰는 것
확률적 경사하강	1개	아주 시끄럽다

고등학생전부 보지 않고 조금씩 본다

5강의 경사하강은 매 걸음마다 전체 자료를 봤습니다.

자료가 100만 개면 한 걸음에 100만 개를 본다 — 너무 느리다

세 가지 방식

방식	한 걸음에	성격
배치	전체	정확하지만 느리다
확률적 (SGD)	하나	빠르지만 흔들린다
미니배치	32~256개	둘의 절충 ✔

실무는 거의 전부 미니배치다

왜 절충이 이기나

이유	설명
기울기 추정	32개만 봐도 방향은 대충 맞다
GPU 효율	병렬로 한꺼번에 계산한다
메모리	전체는 안 들어간다

평균은 표본 몇 개로도 꽤 정확하다 — 통계의 힘

비유 — 여론조사

방법	비용	정확도
전 국민에게	불가능	완벽
1000명	가능	±3% ✔

전부 안 물어도 방향은 안다 — 그러면 충분하다

그리고 여기에 뜻밖의 이득이 있습니다. 다음에서 봅니다.

같은 에폭인데 배치가 작을수록 빨리 내려갑니다 — <b>갱신 횟수</b>가 다르니까요.

Python 브라우저에서 실행

# 배치 크기가 학습에 어떤 영향을 주나
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(71)

N = 2000
X = rng.normal(0, 1, (N, 2))
y = ((X[:,0]**2 + X[:,1]**2) < 1.4).astype(float)
def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

def train(batch, epochs=12, lr=0.4, h=16, seed=0):
    r = np.random.default_rng(seed)
    W1 = r.normal(0, np.sqrt(2/2), (2, h)); b1 = np.zeros(h)
    W2 = r.normal(0, np.sqrt(2/h), (h, 1)); b2 = np.zeros(1)
    hist = []
    for ep in range(epochs):
        order = r.permutation(N)
        for s in range(0, N, batch):
            idx = order[s:s+batch]
            Xb, yb = X[idx], y[idx]
            m = len(idx)
            Z1 = Xb @ W1 + b1; A1 = np.maximum(Z1, 0)
            p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
            d2 = ((p - yb)/m)[:, None]
            d1 = (d2 @ W2.T) * (Z1 > 0)
            W2 -= lr*(A1.T @ d2); b2 -= lr*d2.sum(0)
            W1 -= lr*(Xb.T @ d1); b1 -= lr*d1.sum(0)
        Z1 = X @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
        hist.append(-np.mean(y*np.log(p) + (1-y)*np.log(1-p)))
    return hist

fig, ax = plt.subplots()
print("  배치 크기   한 에폭의 갱신 횟수   12에폭 뒤 손실")
for bs in [N, 256, 32, 4]:
    hi = train(bs)
    ax.plot(range(1, 13), hi, marker="o", ms=3, label=f"batch={bs}")
    print(f"  {bs:9d}   {int(np.ceil(N/bs)):18d}   {hi[-1]:14.4f}")
ax.set_xlabel("epoch"); ax.set_ylabel("loss"); ax.legend(fontsize=8)
plt.show()
print()
print("같은 에폭 수인데 배치가 작을수록 손실이 빨리 내려간다.")
print("가중치를 그만큼 자주 갱신하기 때문이다.")
print("대신 한 걸음 한 걸음은 '전체' 가 아닌 조각으로 잰 것이라 시끄럽다.")

고등학생잡음이 도움이 되기도 한다

note 의 이 대목이 가장 반직관적입니다.

부정확한 기울기가 오히려 더 나은 곳으로 데려간다

왜 그런가

손실 지형에는 작은 웅덩이가 많습니다. 정확한 기울기는 거기 갇혀요.

기울기	작은 웅덩이에서
정확	갇힌다
흔들린다	튀어나올 수 있다 ✔

잡음이 탈출 에너지 역할을 한다

그리고 더 중요한 효과

미니배치 SGD 는 평평한 최소점을 찾는 경향이 있습니다.

최소점 모양	일반화
뾰족한 골짜기	자료가 조금 달라지면 확 나빠진다
평평한 골짜기	안정적 ✔

흔들리면 뾰족한 곳에 못 머문다 — 저절로 평평한 곳으로

비유 — 흔들리는 그릇 위의 구슬

홈	흔들면
좁고 깊은 홈	튕겨 나온다
넓고 완만한 홈	남는다 ✔

흔들기가 안정한 자리를 골라 준다

그래서 배치 크기의 맞바꿈

배치	속도	일반화
작다	느리다	대개 좋다 ✔
크다	빠르다	나빠질 수 있다 ⚠

배치를 키울 때는 학습률도 함께 키운다 — 경험 법칙

고등학생에폭과 반복 — 헷갈리는 말

용어를 정리하고 갑시다.

말	뜻
배치	한 번에 보는 자료 묶음
반복 (step)	가중치를 한 번 갱신
에폭	전체 자료를 한 바퀴

자료 1000개 · 배치 100 → 1에폭 = 10반복

에폭 수를 어떻게 정하나

정하지 않습니다 — 검증 손실을 보고 멈춰요.

손실	계속할까
훈련 ↓ · 검증 ↓	계속 ✔
훈련 ↓ · 검증 ↑	멈춘다 — 과적합 시작 ⚠

이게 8강의 조기 종료다

그런데 매 에폭 자료를 섞어야 합니다

안 섞으면	문제
배치마다 같은 조합	기울기 잡음이 반복된다
자료가 정렬돼 있으면	배치가 한 클래스만 담는다 ⚠

클래스별로 정렬된 자료를 안 섞으면 학습이 아예 안 된다

비유 — 시험 공부 순서

방식	결과
수학만 몰아서 100시간	다른 과목을 잊는다
섞어서 조금씩	골고루 유지 ✔

신경망도 최근에 본 것에 치우친다 — 그래서 섞는다

용어 세 개만 정리하면

표본 2,000개 · 배치 크기 100 이라면

  한 걸음(step)   배치 하나로 가중치를 한 번 갱신     → 100개를 본다
  한 에폭(epoch)  전체 자료를 한 번 다 훑는다        → 20걸음
  10 에폭         전체를 열 번 훑는다                → 200걸음

논문에 "100 에폭 학습" 이라 적혀 있으면 같은 자료를 백 번 봤다는 뜻입니다. 그러니 과적합(/ml 5강)을 안 볼 수가 없고, 그래서 다음 강이 필요합니다.

🤔 확인 문제

표본 10,000개를 배치 크기 50 으로 5 에폭 학습했습니다. 가중치는 몇 번 갱신되었나요?