1강 / 20강

직선 하나가 못 하는 것 — 그래서 층을 쌓는다

/ml 11강이 멈춘 자리에서

/ml 11강은 이렇게 끝났습니다 — 딥러닝을 꺼내기 전에 선형 모형부터.

그러면 언제 그것으로 부족할까요. 가장 단순한 예가 있습니다.

   x₁   x₂   정답
  0     0
  1     1
  0     1
  1     0        ← XOR

이 네 점을 직선 하나로 가를 방법이 없습니다. 그려 보면 대각선끼리 같은 편이거든요.

고등학생왜 층을 쌓아야 하나

/ml 11강의 선형 모형은 직선 하나로 가릅니다. 그런데 직선으로 안 되는 문제가 있어요.

가장 유명한 예 — XOR

이런 자료입니다

x	y	답
0	0	0
0	1	1
1	0	1
1	1	0

네 점을 직선 하나로 갈라 보세요.

불가능하다 — 답이 대각선끼리 짝이라서

왜 그런가

직선은 "이쪽이면 양성, 저쪽이면 음성" 만 말합니다. 그런데 XOR 은 "둘 중 하나만 참일 때" 예요.

규칙	직선으로
"x 가 크면 양성"	된다 ✔
"x 와 y 가 다를 때만"	안 된다 ✗

"조합" 을 표현하려면 단계가 하나 더 필요하다

비유 — 종이 접기

평평한 종이에 직선 하나를 긋습니다. 같은 색 점끼리 모을 수 없다면?

종이를 접으면 됩니다. 접고 나면 한 번의 직선으로 갈립니다.

층이 하는 일 — 공간을 접어서 직선으로 갈리게 만든다

무식하게 <b>22만 개 직선을 다 시도</b>했습니다. 셋이 한계예요.

Python 브라우저에서 실행

# 직선으로는 정말 안 되나 - 모든 직선을 다 시도해 본다
import numpy as np

X = np.array([[0,0],[0,1],[1,0],[1,1]], float)
y = np.array([0,1,1,0])

best = (None, 0)
for w1 in np.linspace(-3, 3, 61):
    for w2 in np.linspace(-3, 3, 61):
        for b in np.linspace(-3, 3, 61):
            pred = (X[:,0]*w1 + X[:,1]*w2 + b > 0).astype(int)
            acc = (pred == y).mean()
            if acc > best[1]: best = ((w1, w2, b), acc)

print(f"직선 {61**3:,}개를 전부 시도했다")
print(f"  가장 좋았던 정확도  {best[1]:.2f}")
print(f"  그때의 계수         w1={best[0][0]:.1f}  w2={best[0][1]:.1f}  b={best[0][2]:.1f}")
print()
print("네 점 중 셋까지가 한계다. 넷을 다 맞히는 직선은 존재하지 않는다.")
print("빠짐없이 찾아봤으니 '아직 못 찾은' 것이 아니라 '없는' 것이다.")

고등학생층이 하는 일을 다시 보면

신경망을 두 단계로 보면 이해가 쉽습니다.

단계	하는 일
은닉층	자료를 새 좌표로 옮긴다
출력층	그 좌표에서 직선 하나로 가른다

마지막은 여전히 선형이다 — 앞에서 펴 놓았을 뿐

그래서 이렇게 말할 수 있습니다

딥러닝 = 특징을 자동으로 만드는 일 + 선형 분류

/ml 3강에서 특징을 잘 만드는 게 중요하다고 했죠. 딥러닝은 그 특징 만들기를 학습합니다.

방식	특징을
고전 기계학습	사람이 만든다
딥러닝	모형이 배운다

그래서 자료가 많이 필요하다 — 배울 게 늘었으니까

비유 — 요리 재료 손질

방식	비유
고전	재료를 사람이 손질해 주고 조리만 시킨다
딥러닝	손질부터 시킨다 — 대신 훨씬 많이 연습해야

자동화의 대가는 더 많은 자료다 — 20강의 판단 기준이 여기서 나온다

그러면 어떻게 하나 — 축을 새로 만든다

딥러닝의 발상은 간단합니다. 가르기 좋은 자리로 자료를 옮겨 놓고 거기서 직선을 긋습니다.

원래 자리에서는 직선으로 안 된다
   ↓  h₁ = 무언가,  h₂ = 무언가   ← 이 '무언가' 를 배운다
새 자리(h₁, h₂)에서는 직선으로 된다

그 '무언가' 를 사람이 정해 주면 특징 공학(/ml 3강)이고, 자료에서 배우면 딥러닝입니다. 그게 차이의 전부예요.

은닉층이 하는 일이 이것입니다 — <b>가르기 좋은 자리로 옮기기</b>.

Python 브라우저에서 실행

# 축을 하나 더 만들면 직선으로 갈린다
import numpy as np

X = np.array([[0,0],[0,1],[1,0],[1,1]], float)
y = np.array([0,1,1,0])

# 은닉층 두 칸 - 손으로 정해 준 값 (5강에서 이것을 '배우게' 만든다)
W1 = np.array([[1.0, 1.0],
               [1.0, 1.0]])
b1 = np.array([0.0, -1.0])
h = np.maximum(X @ W1 + b1, 0)          # ReLU

print("원래 자리 -> 새 자리")
for i in range(4):
    print(f"  ({X[i,0]:.0f}, {X[i,1]:.0f})  ->  ({h[i,0]:.0f}, {h[i,1]:.0f})   정답 {y[i]}")
print()

W2 = np.array([1.0, -2.0]); b2 = 0.0
out = (h @ W2 + b2 > 0.5).astype(int)
print("새 자리에서 직선 하나로:", out, " 정답:", y)
print(f"정확도 {(out == y).mean():.2f}")
print()
print("(1,1) 이 (2,1) 로 옮겨 가면서 (0,1)·(1,0) 과 다른 자리에 놓였다.")
print("옮기고 나니 직선으로 갈린다.")

고등학생이 강의가 서는 자리

note 가 정한 위치를 봅시다.

/ml 의 모든 규칙이 그대로 적용된다 — 더 엄격하게

왜 더 엄격해야 하나

딥러닝의 성질	결과
파라미터가 많다	과적합이 기본값 (8강)
손잡이가 많다	시도 횟수가 늘어난다 → 다중 비교
불투명하다	누출을 못 알아챈다 (18강)
돌릴 때마다 다르다	운 좋은 결과를 고르게 된다 (10강)

네 가지 모두 점수를 부풀리는 방향으로 작용한다

그래서 /ml 의 체크리스트를 다시

시험 자료를 몇 번 봤나
전처리를 훈련 안에서만 했나
점수가 너무 좋지 않나
기준선보다 나은가

네 번째가 딥러닝에서 특히 중요하다

로지스틱 회귀가 AUC 0.82 인데 신경망이 0.83 이라면 — 쓸 이유가 없습니다.

비유 — 큰 차와 작은 차

거리	나은 것
동네 마트	걸어간다
서울–부산	차 · 기차

도구의 크기는 문제의 크기에 맞춰야 한다 — 20강의 결론

고등학생왜 PyTorch 를 안 쓰나

/ml 이 scikit-learn 을 안 쓴 것과 같은 이유입니다.

역전파를 손으로 한 번 짜 보면 신비가 사라진다

도구를 쓰면 안 보이는 것

도구가 감추는 것	그런데 알아야 하는 이유
기울기 계산	왜 사라지는지 (6강)
층마다의 곱셈	초기화가 왜 중요한지
수치 안정성	NaN 이 뜨는 이유

문제가 생겼을 때 안을 볼 줄 알아야 고친다

실제로 짜 보면 놀랍습니다

역전파는 연쇄법칙 하나입니다. numpy 로 스무 줄이면 끝나요.

인상	실제
"딥러닝은 어렵다"	수학은 고등학교 미분
"블랙박스다"	계산은 단순한 반복

어려운 것은 수학이 아니라 왜 되는지 다

비유 — 자전거 분해

자전거를 한 번 분해했다 조립해 보면 페달이 어떻게 바퀴를 돌리는지 손으로 압니다.

	타기만	분해해 보면
평소	충분하다	—
고장 나면	못 고친다	고친다 ✔

실무에서는 PyTorch 를 쓴다 — 여기서는 한 번 분해해 본다

🤔 확인 문제

XOR 을 직선 하나로 가를 수 없는 이유는?