2강 / 20강

뉴런 하나는 로지스틱 회귀다

새로운 것이 아니라 이미 아는 것

'뉴런' 이라는 말이 거창한데, 하는 일은 두 줄입니다.

z = w₁x₁ + w₂x₂ + … + b → a = f(z)

앞줄은 /la 의 내적입니다. 뒷줄의 f 가 활성함수고요.

f 를 로지스틱 함수로 두면 — /ml 11강의 로지스틱 회귀와 정확히 같습니다.

고등학생새로운 것이 아니라 이미 아는 것

부제가 안심시켜 줍니다.

뉴런 하나 = 로지스틱 회귀 — /ml 11강 그대로

계산이 같습니다

단계	수식
1. 가중합	z = w₁x₁ + w₂x₂ + … + b
2. 활성화	a = σ(z)

"뉴런" 이라는 이름만 다르지 같은 계산이다

용어 대응표

기계학습	딥러닝
계수	가중치 (weight)
절편	편향 (bias)
로지스틱 함수	활성화 함수
모형	층 · 신경망

같은 것을 다르게 부르는 것이 반은 된다 — /ml 7강과 같은 상황

그럼 무엇이 새로운가

로지스틱 회귀	신경망
뉴런 하나	뉴런 여러 개 · 여러 층
입력 → 출력	입력 → 중간 → 출력

부품은 같고 배치가 다르다

레고 블록 하나는 단순한데 쌓는 방식이 건물을 만드는 것과 같습니다.

두 이름이 <b>같은 것</b>을 가리킵니다. 딥러닝은 여기서 시작합니다.

Python 브라우저에서 실행

# 뉴런 하나 = 로지스틱 회귀. 같은 답을 내는지 확인한다
import numpy as np
rng = np.random.default_rng(1)

n = 400
X = rng.normal(0, 1, (n, 2))
y = (X[:,0]*1.5 - X[:,1]*1.0 + 0.3 > 0).astype(float)

def sigmoid(z): return 1/(1 + np.exp(-np.clip(z, -30, 30)))

# 방법 A - '로지스틱 회귀' 라고 부르며 경사하강
w = np.zeros(3)
A = np.column_stack([np.ones(n), X])
for _ in range(2000):
    w -= 0.5 * (A.T @ (sigmoid(A @ w) - y)) / n

# 방법 B - '뉴런 하나' 라고 부르며 같은 일
W = np.zeros(2); b = 0.0
for _ in range(2000):
    a = sigmoid(X @ W + b)
    d = (a - y) / n
    W -= 0.5 * (X.T @ d); b -= 0.5 * d.sum()

print("로지스틱 회귀 :", np.round(w, 4))
print("뉴런 하나     :", np.round(np.concatenate([[b], W]), 4))
print()
print("같은 수다. 이름만 다르다.")
print()
print(f"정확도 {((sigmoid(X @ W + b) > 0.5) == (y == 1)).mean():.3f}")

고등학생활성화 함수가 없으면

중요한 물음 — 왜 활성화 함수가 필요할까요?

없으면 층을 아무리 쌓아도 직선 하나다

왜 그런가

선형 변환을 연달아 하면?

계산	결과
z₁ = W₁x	—
z₂ = W₂z₁ = W₂W₁x	= (W₂W₁)x

두 행렬의 곱은 또 하나의 행렬 — 층이 하나로 합쳐진다

100층을 쌓아도 행렬 하나와 같습니다. 1강의 XOR 을 여전히 못 풀죠.

그래서 사이사이에 '꺾음' 을 넣습니다

함수	모양	쓰임
시그모이드	S 자	출력층 (확률)
ReLU	음수는 0, 양수는 그대로	은닉층 표준 ⭐
tanh	S 자 (−1~1)	—

ReLU 는 꺾인 직선이다 — 그런데 그것만으로 충분하다

비유 — 종이 접기와 자르기

동작	가능한 모양
펴서 늘이고 돌리기만	여전히 평평하다
접기를 섞으면	복잡한 모양 ✔

비선형이 한 번이라도 있어야 접힌다

ReLU 는 가장 단순한 접기입니다. "음수면 0" 이라는 한 번의 꺾임이죠.

활성함수 — 왜 필요한가

f 를 없애면(즉 f(z) = z 로 두면) 어떻게 될까요?

직선의 조합은 여전히 직선이다

층을 백 개 쌓아도 결국 직선 하나가 됩니다. 그러니 굽히려면 중간에 직선이 아닌 것을 하나 끼워야 해요. 그게 활성함수입니다.

활성함수 없이는 <b>층을 쌓는 의미가 없습니다</b>. 행렬 곱은 접히니까요.

Python 브라우저에서 실행

# 활성함수가 없으면 층을 쌓아도 소용없다
import numpy as np
rng = np.random.default_rng(11)

W1 = rng.normal(0, 1, (2, 8))
W2 = rng.normal(0, 1, (8, 8))
W3 = rng.normal(0, 1, (8, 1))
X = rng.normal(0, 1, (5, 2))

# 활성함수 없이 세 층
out_deep = X @ W1 @ W2 @ W3

# 그것을 한 층으로 접으면
W_eq = W1 @ W2 @ W3
out_flat = X @ W_eq

print("세 층을 지난 값 :", np.round(out_deep.ravel(), 5))
print("한 층으로 접은 값:", np.round(out_flat.ravel(), 5))
print(f"차이 {np.abs(out_deep - out_flat).max():.2e}")
print()
print(f"세 행렬을 곱하면 {W_eq.shape} 짜리 행렬 하나가 된다.")
print("층을 백 개 쌓아도 마찬가지다 - 결국 직선 하나다.")
print()
print("ReLU 를 한 번만 끼워 넣으면:")
h = np.maximum(X @ W1, 0) @ W2 @ W3
print("  이제 접을 수 없다:", np.round(h.ravel(), 3))

고등학생왜 ReLU 가 이겼나

2010년 전후로 ReLU 가 표준이 되었습니다. 왜일까요?

함수	기울기	문제
시그모이드	최대 0.25	층마다 곱하면 사라진다 ⚠
ReLU	양수 구간에서 정확히 1	사라지지 않는다 ✔

6강에서 볼 기울기 소실의 가장 큰 원인이 시그모이드였다

숫자로 보면

10층을 지나면 기울기가 몇 배가 될까요?

함수	10층 뒤
시그모이드 (0.25)	0.25¹⁰ ≈ 0.000001 ⚠
ReLU (1)	1 ✔

백만 분의 일이 되면 앞쪽 층은 배우지 못한다

그리고 계산도 빠릅니다

함수	계산
시그모이드	지수 함수 — 느리다
ReLU	`max(0, x)` — 비교 한 번 ✔

가장 단순한 것이 가장 잘 통했다 — 흔치 않은 일이다

비유 — 메시지 전달 놀이

귓속말로 메시지를 전합니다.

규칙	10명 뒤
매번 절반만 전한다	거의 사라진다
그대로 전한다	남는다 ✔

신호가 줄지 않고 지나가야 멀리 간다

실제로 쓰는 활성함수

이름	모양	어디에
ReLU max(0, z)	음수는 0, 양수는 그대로	은닉층의 기본값. 계산이 싸고 기울기가 안 죽는다
로지스틱 1/(1+e⁻ᶻ)	0~1 로 누른다	이진 분류의 마지막 층
소프트맥스	여러 칸의 합을 1 로	다중 분류의 마지막 층
없음 (항등)	그대로	회귀의 마지막 층

은닉층은 거의 언제나 ReLU 입니다. 마지막 층만 무엇을 맞히려는가에 따라 고릅니다.

고등학생ReLU 의 대가

공짜는 없습니다. ReLU 도 약점이 있어요.

음수 구간에서 기울기가 정확히 0 이다

무슨 일이 생기나

어떤 뉴런의 입력이 항상 음수가 되면?

단계	결과
출력이 항상 0	—
기울기도 항상 0	가중치가 안 바뀐다
영원히	죽은 뉴런 ⚠

한 번 죽으면 되살아나지 못한다 — 6강의 '죽은 ReLU'

왜 되살아나지 못하나

학습은 기울기로 합니다. 기울기가 0 이면 변화가 없어요.

배울 신호가 0 이면 영원히 그대로다

대책

방법	설명
Leaky ReLU	음수에 작은 기울기 (0.01)
GELU	부드럽게 꺾는다 — 트랜스포머가 쓴다
학습률을 낮춘다	5강 — 큰 걸음이 죽음을 부른다
좋은 초기화	6강

작은 기울기라도 0 이 아니면 되살아날 길이 있다

비유 — 완전한 침묵

상태	회복
아주 작은 소리	키우면 들린다 ✔
완전한 0	몇 배를 해도 0 ⚠

"조금" 과 "전혀 없음" 은 질적으로 다르다

🤔 확인 문제

활성함수를 전부 없애고 층을 열 개 쌓았습니다. 이 모형이 표현할 수 있는 것은?