6강 / 20강

기울기가 사라진다 — 깊은 신경망이 오래 안 되던 이유

초기화 · ReLU · 잔차 연결

4강에서 봤습니다 — 역전파는 층마다 값을 곱해 가며 뒤로 넘깁니다. 곱하는 값이 1보다 작으면 층을 지날 때마다 줄어들고, 크면 늘어납니다.

기울기 소실

0.5 를 열 번 곱하면 0.001
앞쪽 층이 거의 안 배운다

기울기 폭발

1.5 를 열 번 곱하면 58
손실이 NaN 이 된다

고등학생깊은 신경망이 오래 안 되던 이유

4강에서 봤습니다 — 역전파는 층마다 곱해 가며 뒤로 갑니다.

곱셈이 쌓이면 0 으로 사라지거나 무한으로 폭발한다

숫자로 보면

층마다 곱하는 값	20층 뒤
0.5	0.000001 — 소실 ⚠
1.0	1 ✔
1.5	3,325 — 폭발 ⚠

1 에서 조금만 벗어나도 층이 쌓이면 극단으로 간다

소실되면 무슨 일이

층	기울기	학습
마지막	정상	배운다 ✔
중간	작다	느리다
맨 앞	거의 0	안 배운다 ⚠

깊게 쌓았는데 앞쪽은 무작위 그대로다 — 쌓은 의미가 없다

비유 — 복사기로 복사한 것을 또 복사

세대	선명도
1	선명
10	흐릿
50	알아볼 수 없다

매번 조금씩 잃는 것이 쌓여 전부를 잃는다

거꾸로 대비를 조금씩 올리면 어느 순간 흑백으로 뭉개지죠. 그게 폭발입니다.

왼쪽은 <b>0 으로 사라집니다</b>. 오른쪽은 스무 층을 지나도 크기가 유지돼요.

Python 브라우저에서 실행

# 층이 깊어질수록 기울기가 어떻게 되나
import numpy as np
rng = np.random.default_rng(51)

def flow(depth, width, scale, act):
    # 무작위 신경망에 기울기를 흘려 보내 크기를 잰다
    g = np.ones((1, width))
    sizes = [float(np.abs(g).mean())]
    for _ in range(depth):
        W = rng.normal(0, scale, (width, width))
        z = rng.normal(0, 1, (1, width))
        if act == "relu":
            g = (g @ W.T) * (z > 0)
        else:                                  # 로지스틱: 미분 최대 0.25
            s = 1/(1+np.exp(-z))
            g = (g @ W.T) * (s*(1-s))
        sizes.append(float(np.abs(g).mean()))
    return sizes

W = 64
print("층을 지날수록 기울기의 크기 (1 에서 시작)")
print()
print("  깊이   로지스틱+작은초기화   ReLU+He초기화")
a = flow(20, W, 0.1, "sig")
b = flow(20, W, np.sqrt(2.0/W), "relu")
for d in [0, 2, 5, 10, 15, 20]:
    print(f"  {d:4d}   {a[d]:19.3e}   {b[d]:13.3e}")
print()
print("왼쪽은 0 으로 사라진다 - 앞쪽 층에는 배울 신호가 안 닿는다.")
print("오른쪽은 크기가 유지된다.")
print()
print("He 초기화: 표준편차를 sqrt(2/입력칸수) 로 둔다.")
print("ReLU 가 절반을 0 으로 만드니 그만큼 키워 준다는 발상이다.")

고등학생초기화가 왜 중요한가

가중치의 처음 값을 어떻게 정할까요?

전부 0 으로 하면 — 학습이 안 된다

왜 안 되나

같은 층의 모든 뉴런이 완전히 같아집니다.

단계	결과
초기값이 같다	출력이 같다
출력이 같다	기울기가 같다
기울기가 같다	영원히 같다 ⚠

뉴런 100개가 1개처럼 동작한다 — 대칭이 안 깨진다

그래서 무작위로 합니다

그런데 크기가 중요해요.

초기값	결과
너무 작다	신호가 사라진다
적당	층을 지나도 크기 유지 ✔
너무 크다	포화 · 폭발

목표 — 층을 지나도 분산이 그대로이게

그래서 만들어진 방법들

이름	맞춰 만든 대상
Xavier	시그모이드 · tanh
He	ReLU ⭐

입력 개수에 따라 크기를 조절한다 — 입력이 많으면 작게

비유 — 합창단의 음량

10명이 각자 같은 크기로 노래하면 100명일 때는 10배 시끄럽죠.

인원	각자의 음량
10명	보통
1000명	작게 — 전체를 맞추려면

모이는 개수에 맞춰 각자를 조절한다 — 그게 초기화 공식이다

세 가지가 함께 이 문제를 풀었다

무엇	어떻게
ReLU	미분이 0 또는 1 — 켜진 길로는 줄지 않고 흐른다 (4강)
초기화	He / Xavier — 층을 지나도 크기가 유지되도록 분산을 정한다
잔차 연결	층을 건너뛰는 지름길 — 기울기가 곧장 뒤로 간다

세 번째가 특히 예쁩니다. 출력을 f(x) + x 로 두면, x 를 지나는 길은 미분이 1 이라 아무리 깊어도 기울기가 죽지 않아요.

<code>+ x</code> 한 줄입니다. 그 지름길로 기울기가 <b>곧장</b> 흘러요.

Python 브라우저에서 실행

# 잔차 연결 - 지름길 하나가 무엇을 바꾸나
import numpy as np
rng = np.random.default_rng(61)

W = 48
def flow(depth, residual):
    g = np.ones((1, W))
    for _ in range(depth):
        M = rng.normal(0, np.sqrt(1.0/W), (W, W))   # 일부러 작게 잡는다
        z = rng.normal(0, 1, (1, W))
        step = (g @ M.T) * (z > 0)
        g = g + step if residual else step          # 지름길이 있으면 더한다
    return float(np.abs(g).mean())

print("일부러 작게 초기화해 기울기가 죽도록 만들었다")
print()
print("  깊이    지름길 없음      지름길 있음")
for d in [5, 10, 20, 40, 80]:
    print(f"  {d:4d}   {flow(d, False):13.3e}   {flow(d, True):13.3e}")
print()
print("왼쪽은 깊어질수록 0 으로 간다.")
print("오른쪽은 '+ x' 덕분에 기울기가 곧장 뒤로 흐른다 - 죽지 않는다.")
print("이 한 줄이 100층 넘는 신경망을 가능하게 만들었다.")

고등학생죽은 ReLU

note 의 이 경고가 2강에서 예고한 문제입니다.

뉴런의 입력이 항상 음수가 되면 영원히 0 을 낸다

언제 죽나

원인	설명
학습률이 크다	큰 걸음에 편향이 크게 음수로 간다
초기화가 나쁘다	처음부터 음수 쪽
입력 눈금이 안 맞다	—

가장 흔한 원인은 큰 학습률이다 — 5강과 이어진다

얼마나 죽나

학습률이 크면 층의 절반이 죽기도 합니다.

죽은 비율	결과
몇 %	괜찮다 — 오히려 희소성이 도움
40% 이상	모형 용량이 절반으로 ⚠

조금 죽는 것은 정상이다 — 많이 죽는 것이 문제다

확인하는 법

죽은_비율 = (활성화 == 0).mean()

학습이 안 될 때 이 한 줄을 찍어 본다

대책 정리

방법	효과
학습률 낮추기	가장 직접적 ✔
Leaky ReLU · GELU	음수에도 작은 기울기
He 초기화	시작을 좋게
배치 정규화	9강 — 입력을 가운데로

마지막이 강력하다 — 9강에서 왜 그런지 본다

비유 — 안 쓰는 근육

다치거나 안 쓰는 근육은 약해집니다. 그리고 약해지니 더 안 쓰게 되죠.

악순환이다 — 초기에 막아야 한다

고등학생잔차 연결 — 지름길을 낸다

기울기 소실의 가장 강력한 해법입니다.

층을 건너뛰는 길을 하나 만든다 — 출력 = F(x) + x

이 한 줄이 왜 그렇게 대단한가

기울기가 곱셈을 안 거치고 지나갈 길이 생깁니다.

경로	기울기
층을 통과	곱해진다 — 줄어들 수 있다
지름길	1 — 그대로 간다 ✔

최소한 1 은 보장된다 — 그래서 안 사라진다

그리고 학습이 쉬워집니다

층이 0 을 배우면 그냥 통과가 됩니다.

구조	"아무것도 안 하기"
일반 층	항등함수를 배워야 — 어렵다
잔차	F(x) = 0 만 배우면 된다 ✔

"손해는 안 보게" 만드는 구조다 — 층을 늘려도 나빠지지 않는다

효과가 극적이었습니다

시기	가능했던 깊이
2014	약 20층
2015 (ResNet)	150층 이상

한 줄의 덧셈이 깊이의 한계를 풀었다

비유 — 우회로

산길이 구불구불해서 오래 걸립니다. 터널을 하나 뚫으면?

길	쓰임
산길 (층)	필요하면 간다 — 가공한다
터널 (지름길)	급하면 바로 간다

둘 다 있으면 골라 갈 수 있다 — 14강 트랜스포머의 기본 부품이다

🤔 확인 문제

층 스무 개짜리 신경망에서 은닉층 활성함수로 로지스틱을 썼더니 앞쪽 층의 가중치가 거의 변하지 않습니다. 원인은?