12강 / 20강

나무와 숲 — 예/아니오를 이어 붙이면

결정나무 · 그리고 여러 그루를 모으는 이유

선형 모형은 직선으로 가릅니다. 관계가 휘어 있으면 힘들죠.

나무는 다르게 갑니다 — 질문을 이어 붙입니다.

          발현량 > 3.2 ?
         /            \
      아니오           예
        |               |
   나이 > 65 ?      병기 > 2 ?
    /      \         /      \
   A        B       B        C

장점이 뚜렷합니다 — 눈금을 안 맞춰도 되고(순서만 보니까), 범주형을 그냥 넣어도 되고, 관계가 휘어 있어도 됩니다.

고등학생예/아니오를 이어 붙이면

결정나무는 가장 사람 같은 모형입니다.

질문을 이어 붙여 답에 도달한다

나이 > 60?
├ 예 → 혈압 > 140?
│      ├ 예 → 고위험
│      └ 아니오 → 중위험
└ 아니오 → 저위험

장점이 뚜렷합니다

장점	설명
읽을 수 있다	의사에게 그대로 보여 준다
눈금 무관	3강 — 표준화가 필요 없다
상호작용	"나이 그리고 혈압" 을 자동으로
결측에 강하다	—

세 번째가 선형 모형이 못 하는 것이다

선형 모형은 왜 못 하나

선형은 각 특징의 효과를 더합니다. "둘이 함께일 때만" 을 기본으로는 표현 못 해요.

규칙	선형	나무
"나이가 많으면 위험"	표현된다 ✔	된다 ✔
"나이도 많고 혈압도 높을 때만"	항을 직접 넣어야	저절로 ✔

나무는 조건의 조합을 자연스럽게 만든다

그런데 큰 약점이 있습니다

나무 하나는 불안정하다 — 자료가 조금만 바뀌어도 모양이 확 바뀐다

맨 위 질문이 바뀌면 아래가 전부 달라지니까요. 그 해결이 숲입니다.

직선으로는 <b>불가능한</b> 문제를 나무는 깊이 2로 풉니다.

Python 브라우저에서 실행

# 결정나무 한 그루를 손으로 - 지니 불순도로 자른다
import numpy as np
rng = np.random.default_rng(131)

n = 300
X = rng.normal(0, 1, (n, 2))
# XOR 모양 - 직선 하나로는 절대 못 가른다
y = ((X[:, 0] > 0) ^ (X[:, 1] > 0)).astype(int)

def gini(y):
    if len(y) == 0: return 0.0
    p = y.mean()
    return 2 * p * (1 - p)

def best_split(X, y):
    best = (None, None, gini(y))
    for j in range(X.shape[1]):
        for t in np.quantile(X[:, j], np.linspace(0.1, 0.9, 17)):
            L = X[:, j] <= t
            if L.sum() < 5 or (~L).sum() < 5: continue
            g = (L.sum()*gini(y[L]) + (~L).sum()*gini(y[~L])) / len(y)
            if g < best[2]: best = (j, t, g)
    return best

def build(X, y, depth):
    if depth == 0 or len(np.unique(y)) == 1 or len(y) < 10:
        return {"leaf": float(y.mean())}
    j, t, _ = best_split(X, y)
    if j is None: return {"leaf": float(y.mean())}
    L = X[:, j] <= t
    return {"j": j, "t": t, "L": build(X[L], y[L], depth-1), "R": build(X[~L], y[~L], depth-1)}

def predict(node, x):
    while "leaf" not in node:
        node = node["L"] if x[node["j"]] <= node["t"] else node["R"]
    return node["leaf"]

# 직선 하나(로지스틱)와 견준다
A = np.column_stack([np.ones(n), X])
w = np.linalg.lstsq(A, y - 0.5, rcond=None)[0]
lin_acc = ((A @ w > 0) == (y == 1)).mean()
print(f"직선 하나로 가르면        정확도 {lin_acc:.3f}   <- 찍기와 같다")
print()
for d in [1, 2, 3, 5]:
    tree = build(X, y, d)
    acc = np.mean([(predict(tree, X[i]) > 0.5) == (y[i] == 1) for i in range(n)])
    print(f"나무 깊이 {d}              정확도 {acc:.3f}")
print()
print("XOR 은 직선으로 절대 못 가른다. 나무는 깊이 2 면 충분하다.")
print("대신 깊이를 계속 늘리면 - 5강의 그 일이 생긴다.")

고등학생나무는 왜 과적합하기 쉬운가

나무를 끝까지 키우면 어떻게 될까요?

모든 표본을 각자의 잎에 넣을 수 있다 — 훈련 정확도 100%

그게 왜 나쁜가

5강의 답만 외우기 와 같습니다.

깊이	훈련	검증
2	0.70	0.68
5	0.85	0.80 ✔
끝까지	1.00	0.65 ⚠

나무는 가만두면 반드시 과적합한다

막는 방법들

손잡이	뜻
최대 깊이	몇 번까지 물을까
잎 최소 표본	너무 적으면 안 나눈다
가지치기	키운 뒤 잘라낸다

전부 "덜 자라게" 하는 방법이다 — 11강의 규제와 같은 발상

잎 최소 표본이 중요한 이유

잎에 표본이 1개 있으면 그 잎의 예측은 그 한 사람입니다.

잎의 표본 수	예측의 신뢰
1	없다 — 우연
20	어느 정도

5강의 "표본이 적으면 잡음을 배운다" 가 잎 하나마다 일어난다

비유 — 규칙 만들기

규칙	근거
"고3은 야자를 한다"	많은 사례 ✔
"3반 15번은 화요일에 조퇴한다"	한 사람 한 번 ⚠

사례가 하나인 규칙은 규칙이 아니다

한 그루의 문제 — 흔들린다

나무는 자료가 조금만 바뀌어도 전혀 다른 모양이 됩니다. 맨 위 질문이 바뀌면 그 아래가 통째로 달라지니까요.

그래서 여러 그루를 모읍니다.

방법	어떻게	성격
랜덤 포레스트	표본과 특징을 무작위로 뽑아 여러 그루를 따로 키우고 평균	흔들림을 줄인다. 튼튼하고 손이 덜 간다
부스팅	앞 그루가 틀린 것에 집중해 다음 그루를 키운다	대개 더 정확하다. 과적합에 더 취약

표 형태의 자료(행이 표본, 열이 특징)에서는 부스팅이 딥러닝을 이기는 경우가 아주 흔합니다. 이미지나 서열이 아니라면 여기서 시작하는 것이 합리적이에요.

고등학생여러 그루를 모으는 이유

나무 하나가 불안정하다면 — 여러 그루를 심으면 됩니다.

각자 조금씩 다른 나무를 만들고 투표시킨다

어떻게 다르게 만드나

방법	설명
표본을 다르게	복원추출로 뽑는다 (배깅)
특징을 다르게	각 분기에서 일부만 후보로

둘 다 쓰면 랜덤 포레스트다

왜 모으면 좋아지나

각 나무의 실수가 서로 다르면 평균에서 상쇄됩니다.

나무	이 표본에서
A	틀림
B	맞음
C	맞음
투표	맞음 ✔

조건이 있다 — 실수가 서로 달라야 한다

전부 같은 실수를 하면 모아도 소용없습니다. 그래서 일부러 다르게 만드는 거예요.

비유 — 여러 사람에게 물어보기

물어보는 대상	결과
같은 반 친구 10명	비슷한 답 — 도움 안 된다
배경이 다른 10명	다양한 답 — 평균이 낫다 ✔

"군중의 지혜" 는 독립적일 때만 작동한다

대가는 해석력

	나무 하나	숲
정확도	낮다	높다
읽을 수 있나	있다 ✔	없다 ⚠

500그루를 사람이 읽을 수는 없다 — 18강의 주제

숲의 값어치는 정확도보다 <b>안정</b>입니다. 흔들림이 줄어요.

Python 브라우저에서 실행

# 한 그루의 흔들림, 여러 그루의 안정
import numpy as np
rng = np.random.default_rng(141)

def make(n, r):
    X = r.normal(0, 1, (n, 2))
    y = ((X[:,0] > 0) ^ (X[:,1] > 0)).astype(int)
    flip = r.random(n) < 0.15          # 잡음 15%
    return X, np.where(flip, 1-y, y)

def stump_grid(X, y, depth, r):
    # 아주 단순한 나무 - 축에 평행한 문턱 몇 개
    cuts = []
    for j in range(2):
        cuts.append(r.normal(0, 0.5))
    def pred(P):
        a = (P[:,0] > cuts[0]).astype(int)
        b = (P[:,1] > cuts[1]).astype(int)
        return (a ^ b)
    return pred

Xte, yte = make(3000, np.random.default_rng(999))
single, forest = [], []
for s in range(40):
    r = np.random.default_rng(s)
    Xtr, ytr = make(120, r)
    # 한 그루 - 훈련자료에서 문턱을 잡는다
    c0, c1 = np.median(Xtr[:,0]), np.median(Xtr[:,1])
    p1 = ((Xte[:,0] > c0).astype(int) ^ (Xte[:,1] > c1).astype(int))
    single.append((p1 == yte).mean())
    # 여러 그루 - 부트스트랩으로 25그루 키워 다수결
    votes = np.zeros(len(Xte))
    for b in range(25):
        idx = r.integers(0, len(Xtr), len(Xtr))
        Xb, yb = Xtr[idx], ytr[idx]
        cb0, cb1 = np.median(Xb[:,0]), np.median(Xb[:,1])
        votes += ((Xte[:,0] > cb0).astype(int) ^ (Xte[:,1] > cb1).astype(int))
    forest.append(((votes/25 > 0.5).astype(int) == yte).mean())

single, forest = np.array(single), np.array(forest)
print(f"한 그루     평균 {single.mean():.3f}   흔들림 {single.std():.4f}")
print(f"25그루 모음 평균 {forest.mean():.3f}   흔들림 {forest.std():.4f}")
print()
print("평균은 비슷하거나 조금 낫고, 흔들림이 준다.")
print("여러 그루를 모으는 목적이 그것이다 - 정확도보다 먼저 '안정' 이다.")

🤔 확인 문제

특징의 눈금을 맞추지 않아도 되는 모형은?