3강 / 20강

층을 쌓으면 — 굽은 경계가 생긴다

은닉 칸 수와 층 수가 하는 일

뉴런 여러 개를 나란히 두면 층이고, 층을 이어 붙이면 다층 퍼셉트론입니다.

입력 (2)  →  은닉 (h)  →  출력 (1)

  h = ReLU(X W₁ + b₁)        W₁ 은 (2 × h)
  ŷ = sigmoid(h W₂ + b₂)     W₂ 는 (h × 1)

배워야 할 것은 W₁ · b₁ · W₂ · b₂ 네 덩어리뿐입니다.

고등학생굽은 경계가 생긴다

1강의 종이 접기가 실제로 어떻게 일어나는지 봅시다.

은닉 뉴런 하나가 직선 하나를 만든다

그리고 조합합니다

은닉 뉴런 수	만들 수 있는 경계
1	직선 하나
2	직선 둘의 조합 — XOR 가능
여러 개	다각형 · 굽은 모양

직선을 여러 개 겹쳐 곡선을 흉내 낸다

비유 — 다각형으로 원 그리기

변의 수	모양
3	삼각형
10	둥글어 보인다
1000	원과 구별 안 된다

직선을 충분히 많이 쓰면 어떤 곡선도 흉내 낸다

이게 유명한 정리입니다

보편 근사 정리 — 은닉층 하나로도 어떤 함수든 근사할 수 있다

그런데 조건이 붙어요 — 뉴런 수에 제한이 없다면.

이론	실제
층 하나면 충분	뉴런이 천문학적으로 필요할 수 있다

"가능하다" 와 "실용적이다" 는 다르다 — 그래서 깊게 쌓는다

은닉 칸 하나가 <b>직선 하나</b>를 맡습니다. 여럿을 이어 붙여 곡선을 만들어요.

Python 브라우저에서 실행

# 은닉 칸을 늘리면 경계가 얼마나 굽나
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(21)

def make(n, r):
    X = r.normal(0, 1, (n, 2))
    y = ((X[:,0]**2 + X[:,1]**2) < 1.4).astype(float)   # 원 안이냐 밖이냐
    return X, y

Xtr, ytr = make(400, rng)

def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

def train(h, steps=3000, lr=0.5, seed=0):
    r = np.random.default_rng(seed)
    W1 = r.normal(0, 0.8, (2, h)); b1 = np.zeros(h)
    W2 = r.normal(0, 0.8, (h, 1)); b2 = np.zeros(1)
    n = len(Xtr)
    for _ in range(steps):
        Z1 = Xtr @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = sigmoid(A1 @ W2 + b2).ravel()
        d2 = ((p - ytr)/n)[:, None]
        gW2 = A1.T @ d2; gb2 = d2.sum(0)
        d1 = (d2 @ W2.T) * (Z1 > 0)
        gW1 = Xtr.T @ d1; gb1 = d1.sum(0)
        W1 -= lr*gW1; b1 -= lr*gb1; W2 -= lr*gW2; b2 -= lr*gb2
    return W1, b1, W2, b2

fig, axes = plt.subplots(1, 4, figsize=(11, 3))
gx, gy = np.meshgrid(np.linspace(-3, 3, 80), np.linspace(-3, 3, 80))
G = np.column_stack([gx.ravel(), gy.ravel()])
for ax, h in zip(axes, [1, 2, 4, 16]):
    W1, b1, W2, b2 = train(h)
    P = sigmoid(np.maximum(G @ W1 + b1, 0) @ W2 + b2).reshape(gx.shape)
    ax.contourf(gx, gy, P, levels=[0, .5, 1], alpha=.3)
    ax.scatter(Xtr[:,0], Xtr[:,1], c=ytr, s=4, cmap="coolwarm")
    acc = ((sigmoid(np.maximum(Xtr @ W1 + b1, 0) @ W2 + b2).ravel() > .5) == (ytr == 1)).mean()
    ax.set_title(f"h={h}  acc={acc:.2f}", fontsize=8)
    ax.set_xticks([]); ax.set_yticks([])
plt.tight_layout(); plt.show()

print("정답은 '원 안이냐 밖이냐' 다 - 직선으로는 절대 안 된다.")
print("은닉 칸이 늘수록 경계가 원에 가까워진다.")
print("칸 하나하나가 직선 하나를 맡고, 그것들을 이어 붙여 곡선을 만든다.")

고등학생넓게 vs 깊게

note 의 이 비교가 딥러닝의 이름을 설명합니다.

	넓게 (뉴런 많이)	깊게 (층 많이)
표현력	이론상 충분	같은 표현을 훨씬 적은 뉴런으로 ✔
학습	쉽다	어렵다 (6강)
계층 구조	없다	생긴다 ⭐

깊이의 진짜 값어치는 계층적 특징이다

이미지에서 이렇게 나타납니다

층	배우는 것
1층	가장자리 · 색 변화
2~3층	모서리 · 무늬
중간층	부분 — 눈 · 바퀴
깊은 층	물체 — 얼굴 · 자동차

단순한 것을 조합해 복잡한 것을 만든다 — 사람의 시각과 닮았다

왜 깊이가 효율적인가

같은 부품을 재사용하기 때문입니다.

방식	"눈" 을 표현하려면
얕고 넓게	각 위치마다 따로
깊게	아래층의 가장자리를 조합 ✔

조합은 곱셈으로 늘어난다 — 부품 10개로 조합 수백 개

비유 — 글자와 낱말

방식	필요한 기호
낱말마다 그림 하나	수십만 개
자모 → 글자 → 낱말	24개 ✔

한글이 계층적이라 적은 기호로 모든 말을 적는다

고등학생그런데 깊으면 왜 어려운가

깊이가 좋다면 왜 옛날엔 못 했을까요?

깊은 신경망은 1980년대부터 알려져 있었다 — 그런데 학습이 안 됐다

세 가지 문제가 있었습니다

문제	해결	강
기울기 소실	ReLU · 초기화 · 잔차	6강
계산량	GPU	—
자료 부족	대규모 자료셋 · 사전학습	15강

세 가지가 2010년대에 동시에 해결되었다

그래서 딥러닝 '혁명' 은

새로운 아이디어가 나온 게 아니었습니다.

것	언제 나왔나
역전파	1980년대
합성곱 신경망	1990년대
GPU · 대규모 자료	2010년대 ⭐

이론은 30년 전에 있었고 조건이 나중에 갖춰졌다

비유 — 비행기의 역사

날개의 원리는 오래전부터 알았습니다. 그런데 가벼운 엔진이 없어서 못 날았죠.

필요한 것	비유
원리	역전파
엔진	GPU
연료	자료

아이디어만으로는 안 된다 — 받쳐 주는 것이 있어야 한다

그래서 20강에서 "자료가 적으면 딥러닝을 쓰지 말라" 는 결론이 나옵니다. 연료가 없으면 못 나니까요.

얼마나 크게 만들 것인가

/ml 5강의 그 이야기가 그대로 돌아옵니다 — 클수록 좋은 게 아닙니다.

너무 작으면

굽힐 수가 없다 — 과소적합

너무 크면

훈련자료를 외운다 — 과적합

요즘 실무의 관행은 크게 만들고 규제로 누르는 쪽입니다(8강). 크기를 정확히 맞추는 것보다 그편이 다루기 쉽거든요.

🤔 확인 문제

은닉층 하나에 칸이 1개인 신경망이 표현할 수 있는 경계는?