9강 / 20강

정규화 층 — 중간 값들의 눈금을 맞춘다

배치 정규화와 층 정규화

/ml 3강에서 입력의 눈금을 맞췄습니다. 그런데 층을 지나면 값의 크기가 다시 제멋대로가 됩니다.

그래서 중간에도 맞춰 줍니다.

z 를 그 층에서 평균 0, 분산 1 로 만든 뒤
그 위에 배울 수 있는 γ(크기)와 β(치우침)를 얹는다

  ẑ = (z − μ) / σ
  out = γ · ẑ + β        ← γ, β 도 학습된다

고등학생중간 값들의 눈금을 맞춘다

/ml 3강에서 입력의 눈금을 맞췄습니다. 그런데 중간층은요?

층을 지날수록 값의 분포가 흘러간다

왜 흘러가나

앞 층의 가중치가 바뀌면 다음 층이 받는 입력의 분포도 바뀝니다.

층	학습 중
1층	가중치가 바뀐다
2층	받는 입력이 달라진다 ⚠
3층	더 달라진다

깊을수록 흔들림이 누적된다 — 2층은 계속 새 문제를 푼다

그래서 중간에서 다시 맞춰 줍니다

평균 0 · 분산 1 로 되돌린 뒤 다음 층으로

그리고 배울 수 있는 스케일과 이동을 붙입니다. 필요하면 모형이 다시 늘릴 수 있게요.

효과가 큽니다

효과	설명
학습이 빨라진다	더 큰 학습률을 쓸 수 있다
초기화에 덜 예민	6강의 부담이 준다
규제 효과	배치마다 통계가 달라 잡음이 생긴다

세 번째는 덤이다 — 7강의 잡음 이야기와 같은 원리

비유 — 릴레이 경기의 바통 위치

방식	결과
넘겨받는 위치가 매번 다르다	매번 적응해야 한다
정해진 구간에서 넘긴다	연습한 대로 ✔

받는 쪽의 조건을 일정하게 해 주는 것

초기화가 <b>조금만</b> 어긋나도 폭발하거나 사라집니다. 정규화가 그것을 막아요.

Python 브라우저에서 실행

# 정규화가 없으면 층을 지날수록 값이 어떻게 되나
import numpy as np
rng = np.random.default_rng(101)

W = 64
def run(depth, scale, normalize):
    a = rng.normal(0, 1, (256, W))
    sizes = [float(a.std())]
    for _ in range(depth):
        Wm = rng.normal(0, scale, (W, W))
        a = np.maximum(a @ Wm, 0)
        if normalize:
            a = (a - a.mean(0)) / (a.std(0) + 1e-8)
        sizes.append(float(a.std()))
    return sizes

print("층을 지날수록 활성값의 표준편차 (1 에서 시작)")
print()
print("  깊이   초기화가 조금 큼   조금 작음   정규화 켬")
big  = run(20, 0.20, False)
small= run(20, 0.10, False)
norm = run(20, 0.20, True)
for d in [0, 3, 6, 10, 15, 20]:
    print(f"  {d:4d}   {big[d]:16.3e}  {small[d]:10.3e}  {norm[d]:10.3f}")
print()
print("초기화가 조금만 커도 값이 폭발하고, 조금만 작아도 사라진다.")
print("정규화를 켜면 층을 지나도 1 근처를 유지한다.")
print()
print("이것이 정규화 층의 값어치다 - 초기화에 덜 민감해지고,")
print("그래서 학습률을 더 크게 잡을 수 있어 학습이 빨라진다.")

고등학생배치 정규화의 숨은 문제

배치 정규화는 배치 단위로 통계를 냅니다. 여기서 문제가 생겨요.

한 표본의 출력이 같은 배치의 다른 표본에 의존한다

이게 왜 이상한가

상황	출력
표본 A 를 배치 1에서	어떤 값
같은 A 를 배치 2에서	다른 값 ⚠

같은 입력에 다른 출력이 나온다 — 학습 중에는

그래서 추론 때는 다르게 합니다

시점	쓰는 통계
학습	현재 배치의 평균·분산
추론	학습 중 누적한 이동평균 ✔

학습과 추론의 동작이 다른 층이다 — 버그의 온상

모드 전환(train() / eval())을 깜빡하면 결과가 이상하게 나옵니다. 아주 흔한 실수예요.

그리고 배치가 작으면 나빠집니다

배치 크기	통계 추정
128	안정적 ✔
2~4	매우 불안정 ⚠

큰 모형은 배치를 못 키운다 (4강 메모리) — 그래서 문제가 된다

비유 — 반 평균으로 성적 매기기

반 인원	평균의 신뢰
30명	안정적
3명	한 명에 확 흔들린다 ⚠

그리고 어느 반에 속하냐 에 따라 내 점수가 바뀐다 — 이상하다

두 가지 — 무엇을 기준으로 평균을 내나

	배치 정규화	층 정규화
평균·분산을 재는 축	배치 안의 표본들을 가로질러	한 표본의 특징들을 가로질러
배치 크기에 의존	한다 — 배치가 작으면 불안정	안 한다
학습/예측이 다른가	다르다 — 예측 때는 누적 통계를 쓴다	같다
주로 쓰는 곳	합성곱 신경망 (11강)	트랜스포머 (14강)

세 번째 줄이 실수하기 쉬운 자리입니다. 배치 정규화는 학습할 때와 예측할 때가 다르게 동작해요 — 드롭아웃과 같은 종류의 전환입니다(8강).

고등학생왜 트랜스포머는 층 정규화를 쓰나

note 의 이 물음에 답해 봅시다.

층 정규화는 표본 하나 안에서 눈금을 맞춘다

	배치 정규화	층 정규화
평균을 내는 방향	배치를 가로질러	특징을 가로질러
다른 표본에 의존	한다 ⚠	안 한다 ✔
학습/추론 동작	다르다	같다 ✔
배치 크기 의존	크다	없다 ✔

표본 하나만 있어도 동작한다 — 그게 결정적이다

왜 서열 모형에 중요한가

이유	설명
길이가 다르다	문장·서열마다 길이가 제각각 ⚠
배치가 작다	큰 모형은 배치를 못 키운다
추론이 하나씩	생성할 때 토큰 하나씩

배치 통계를 쓸 수 없는 상황이 많다

비유 — 성적 표준화

방식	기준
배치 정규화	"반 평균 대비 몇 점" — 남과 비교
층 정규화	"내 과목들 중 몇 점" — 나 안에서

혼자 시험을 봐도 후자는 계산된다

그래서 어느 것을 쓰나

모형	보통
CNN (이미지)	배치 정규화
트랜스포머 · RNN	층 정규화

14강에서 트랜스포머의 부품으로 다시 만난다

🤔 확인 문제

배치 정규화를 쓴 모형을 예측에 쓸 때 주의할 점은?