11강 / 20강

선형 모형 — 가장 먼저 해 봐야 할 것

로지스틱 회귀 · 그리고 계수를 눌러 주는 규제

딥러닝을 꺼내기 전에 반드시 해 봐야 할 것이 있습니다 — 선형 모형이요.

이유는 5강에서 봤습니다. 생물 자료는 표본이 적고 특징이 많아서 단순한 모형이 이기는 경우가 아주 흔합니다. 그리고 선형 모형은 기준선 역할을 합니다 — 복잡한 모형이 이걸 못 이기면 쓸 이유가 없어요.

z = w₀ + w₁x₁ + w₂x₂ + … p = 1 / (1 + e^−z)

앞줄은 /la 의 내적입니다. 뒷줄이 그 값을 0과 1 사이로 밀어 넣는 로지스틱 함수고요.

고등학생가장 먼저 해 봐야 할 것

왜 가장 단순한 것부터 시작할까요?

기준선이 없으면 "좋다" 를 판단할 수 없다

기준선의 역할

결과	해석
복잡한 모형 AUC 0.82 선형 AUC 0.81	복잡할 이유가 없다
복잡한 모형 0.82 선형 0.60	복잡함이 값을 한다 ✔

0.82 라는 숫자 혼자서는 아무 뜻이 없다

선형 모형의 장점

장점	설명
해석된다	계수가 방향과 크기를 준다
확률이 잘 나온다	10강 — 보정이 자연스럽다
표본이 적어도	과적합이 덜하다 (5강)
빠르다	—

3강의 표본 적고 특징 많은 자료에 특히 어울린다

비유 — 자를 대 보기

어떤 곡선을 설명할 때 직선으로 얼마나 되나 를 먼저 봅니다.

직선으로	결론
거의 설명된다	굳이 곡선을 쓸 이유가 없다
전혀 안 된다	곡선이 필요하다

복잡함은 증명해야 할 것이지 기본값이 아니다

라이브러리 없이 열 줄입니다. <b>안이 어떻게 생겼는지</b>가 보입니다.

Python 브라우저에서 실행

# 로지스틱 회귀를 손으로 - 경사하강법 열 줄
import numpy as np
rng = np.random.default_rng(111)

n, p = 400, 3
X = rng.normal(0, 1, (n, p))
true_w = np.array([1.5, -2.0, 0.0])
z = X @ true_w
y = (rng.random(n) < 1/(1 + np.exp(-z))).astype(int)

def sigmoid(t):
    return 1/(1 + np.exp(-np.clip(t, -30, 30)))

def fit(X, y, lr=0.2, steps=600, l2=0.0):
    A = np.column_stack([np.ones(len(X)), X])
    w = np.zeros(A.shape[1])
    for _ in range(steps):
        pred = sigmoid(A @ w)
        grad = A.T @ (pred - y) / len(y)
        grad[1:] += l2 * w[1:]        # 절편은 규제하지 않는다
        w -= lr * grad
    return w

w = fit(X, y)
print("진짜 계수 :", np.round(true_w, 2))
print("찾은 계수 :", np.round(w[1:], 2))
print(f"절편      : {w[0]:.2f}")
print()
acc = ((sigmoid(np.column_stack([np.ones(n), X]) @ w) > 0.5) == y).mean()
print(f"훈련 정확도 {acc:.3f}")
print()
print("한 일은 셋뿐이다 -")
print("  1) 지금 계수로 확률을 계산하고")
print("  2) 틀린 만큼을 기울기로 만들고")
print("  3) 그 반대 방향으로 조금 움직인다")
print("이것을 600번 되풀이했다. 이것이 경사하강법이다.")

고등학생로지스틱 회귀 — 왜 직선이 아닌가

분류에 쓰는 선형 모형입니다. 그런데 왜 그냥 직선을 안 쓸까요?

확률은 0과 1 사이여야 하는데 직선은 넘어간다

직선으로 하면

입력	직선의 출력
보통	0.3 — 괜찮다
아주 크면	1.7 ⚠
아주 작으면	−0.4 ⚠

"확률 170%" 는 말이 안 된다

그래서 S 자로 눌러 줍니다

로지스틱 함수는 어떤 값이 들어와도 0~1 로 눌러요.

들어온 값	나가는 값
−∞	0 에 접근
0	0.5
+∞	1 에 접근

끝은 완만하고 가운데는 가파르다

이 모양이 자연스러운 이유

극단에서는 더 확신할 게 없습니다. 이미 거의 확실하니까요.

구간	추가 증거의 효과
확률 0.5 근처	크다 — 판단이 뒤집힌다
확률 0.99	작다 — 이미 확실

애매한 곳에서 증거가 가장 값지다 — 상식과 일치한다

비유 — 여론의 변화

지지율이 50% 인 후보는 사건 하나에 크게 흔들립니다. 95% 인 후보는 덜 흔들리죠.

이미 굳어진 판단은 잘 안 바뀐다 — S 곡선이 그 모양이다

규제 — 계수가 커지지 못하게 막는다

특징이 많으면 계수가 제멋대로 커지면서 훈련자료를 외웁니다(5강). 그래서 벌점을 붙입니다.

이름	벌점	하는 일
릿지 (L2)	계수의 제곱 합	전부 조금씩 줄인다. 0 은 안 된다
라쏘 (L1)	계수의 절댓값 합	일부를 정확히 0 으로 — 특징을 고른다
일래스틱넷	둘을 섞는다	상관 높은 특징 묶음을 함께 살린다

라쏘가 특히 유용합니다 — 유전자 1,807개 중 몇 개만 남기고 나머지를 0 으로 만들거든요. 그러면 모형이 단순해지고 해석도 쉬워집니다.

고등학생규제 — 계수를 눌러 주는 이유

5강의 과적합을 막는 가장 흔한 방법입니다.

계수가 커지지 못하게 벌점을 준다

왜 큰 계수가 나쁜가

계수가 크면 입력이 조금만 변해도 출력이 확 바뀝니다.

계수	입력이 0.1 변하면
2	출력 0.2 변화
500	출력 50 변화 ⚠

불안정한 모형 — 측정 오차에도 답이 뒤집힌다

두 가지 규제

이름	벌점	효과
L2 (릿지)	계수의 제곱 합	전부 작게 만든다
L1 (라쏘)	계수의 절댓값 합	일부를 정확히 0 으로 ⭐

L1 은 특징 선택도 같이 해 준다 — 3강의 자료에 유용하다

왜 L1 이 0 을 만드나

절댓값은 0 에서 꺾입니다. 그 꺾인 점이 딱 걸리는 자리가 돼요.

모양	최소가 되는 곳
제곱 (부드럽다)	0 근처 — 정확히 0 은 드물다
절댓값 (꺾인다)	정확히 0 이 되기 쉽다

뾰족한 모양이 정확히 0 을 만든다 — 기하학적 이유다

비유 — 예산 제한

규칙	결과
"각 항목을 줄여라" (L2)	전부 조금씩 줄어든다
"항목 개수를 줄여라" (L1)	일부를 아예 뺀다

"조금씩 다" 와 "몇 개를 아예" 는 다른 처방이다

λ=0 은 훈련자료를 <b>완벽히</b> 외우고 시험에서 최악입니다. 규제가 그것을 막습니다.

Python 브라우저에서 실행

# 규제를 걸면 과적합이 얼마나 줄어드나
import numpy as np
rng = np.random.default_rng(121)

n, p = 60, 150            # 표본보다 특징이 많다 - 생물 자료의 기본 모양
Xtr = rng.normal(0, 1, (n, p))
w_true = np.zeros(p); w_true[:5] = [2.0, -1.5, 1.2, -1.0, 0.8]   # 5개만 진짜
ytr = Xtr @ w_true + rng.normal(0, 1, n)
Xte = rng.normal(0, 1, (2000, p))
yte = Xte @ w_true + rng.normal(0, 1, 2000)

def ridge(X, y, lam):
    A = np.column_stack([np.ones(len(X)), X])
    I = np.eye(A.shape[1]); I[0, 0] = 0        # 절편은 규제하지 않는다
    return np.linalg.solve(A.T @ A + lam * I, A.T @ y)

def mse(w, X, y):
    A = np.column_stack([np.ones(len(X)), X])
    return float(np.mean((A @ w - y)**2))

print("표본 60개 · 특징 150개 (그중 5개만 진짜)")
print()
print("     규제 λ    훈련 오차   시험 오차   0 아닌 계수")
for lam in [0.0, 0.1, 1, 10, 100, 1000]:
    w = ridge(Xtr, ytr, lam)
    nz = int((np.abs(w[1:]) > 0.05).sum())
    print(f"  {lam:9.1f}   {mse(w, Xtr, ytr):9.3f}   {mse(w, Xte, yte):9.3f}   {nz:8d}")
print()
print("λ=0 은 훈련 오차가 거의 0 이다 - 60개를 완벽히 외웠다.")
print("그런데 시험 오차는 최악이다.")
print("규제를 걸수록 훈련은 나빠지고 시험은 좋아진다 - 어느 지점까지는.")

고등학생λ 는 어떻게 고르나 — 교차검증으로

note 가 답을 6강으로 연결합니다.

규제 세기 λ 는 자료에게 물어서 정한다

λ 가 하는 일

λ	계수	모형
0	자유	규제 없음 — 과적합 위험
중간	적당히 눌림	대개 최적 ✔
매우 큼	거의 0	아무것도 안 배운다

5강의 U 자 곡선이 λ 축에서 다시 나타난다

고르는 절차

λ 후보를 여러 개 정한다 (보통 로그 간격)
각 λ 로 교차검증을 한다
검증 점수가 가장 좋은 λ 를 고른다
그 λ 로 전체 훈련 자료에 다시 학습

6강에서 말한 "고르는 도구" 가 정확히 이렇게 쓰인다

왜 로그 간격인가

후보	차이
1, 2, 3, …, 10	큰 값 쪽만 촘촘 — 비효율
0.001, 0.01, 0.1, 1, 10	배수로 — 규모를 훑는다 ✔

λ 는 몇 배 차이가 의미 있다 — 몇 만큼이 아니라

실무의 요령 — 1-SE 규칙

가장 좋은 λ 대신 표준오차 하나 안에서 가장 큰 λ 를 고릅니다.

선택	결과
최고점의 λ	가장 좋아 보인다 — 운일 수 있다
1-SE 규칙	더 단순한 모형 ✔

비슷한 성능이면 단순한 쪽 — 5강의 오컴의 면도날

🤔 확인 문제

유전자 2만 개로 표본 80개를 분류하려 합니다. 첫 시도로 가장 알맞은 것은?