Lesson 10 of 20

손잡이가 너무 많다 — 무엇부터 만지나

그리고 '돌릴 때마다 결과가 다른' 문제

지금까지 나온 손잡이만 세어 봐도 이렇습니다.

학습률 · 배치 크기 · 은닉 칸 수 · 층 수 · 활성함수 · 초기화
드롭아웃 비율 · 가중치 감쇠 · 정규화 종류 · 에폭 수 · 최적화기 · 학습률 감쇠 …

전부 시험해 볼 수는 없습니다. 다행히 중요도에 큰 차이가 있습니다.

순위	손잡이	왜
1	학습률	이것 하나로 되고 안 되고가 갈린다 (5강)
2	모형 크기 · 규제 세기	과적합과 과소적합 사이 (3 · 8강)
3	배치 크기 · 에폭 수	대개 관행값으로 충분하다
4	나머지 전부	기본값으로 두고 시작한다

High school무엇부터 만지나

딥러닝에는 조절할 것이 너무 많습니다.

손잡이	영향
학습률	가장 크다 ⭐
모형 크기 (층·너비)	크다
배치 크기	중간
규제 세기 · 드롭아웃	중간
옵티마이저 · 스케줄	보통
초기화	작다 (요즘은 기본값이 좋다)

순서가 중요하다 — 학습률부터 만진다

왜 순서가 중요한가

손잡이가 10개고 각각 5가지 값이면?

조합	수
전부 시도	천만 가지 ⚠

전부 볼 수 없다 — 영향이 큰 것부터 봐야 한다

그리고 시도할수록 부풀려집니다

/ml 4강의 다중 비교가 여기서 심각합니다.

시도 횟수	최고 검증 점수
10	조금 부풀려짐
1000	크게 ⚠

"몇 번 시도했는지" 를 반드시 보고한다 — 정직의 문제다

비유 — 라디오 주파수 맞추기

손잡이	순서
주파수	먼저 — 안 맞으면 아무 소리도 안 난다
음량 · 음질	나중에

주파수가 안 맞은 채 음질을 조절해 봐야 소용없다

격자 탐색은 <b>중요한 손잡이를 세 번만</b> 봅니다. 무작위는 아홉 번 다 다르게 봐요.

Python Runs in your browser

# 격자 탐색보다 무작위 탐색이 나은 이유
import numpy as np
rng = np.random.default_rng(111)

# 손잡이 두 개. 그런데 성능은 사실상 첫 번째 것만 따른다
def score(lr, other):
    return np.exp(-((np.log10(lr) + 2.3)**2) / 0.25) + 0.02*other

print("손잡이 두 개 중 '학습률' 만 결과를 좌우한다 (다른 하나는 거의 무관)")
print()
budget = 9
# 격자 탐색 - 3 x 3
lrs = np.logspace(-4, -1, 3)
others = np.linspace(0, 1, 3)
grid_best = max(score(a, b) for a in lrs for b in others)
grid_tried = len(set(np.round(np.log10(lrs), 4)))

# 무작위 탐색 - 9번
rand_scores, rand_lrs = [], []
for _ in range(200):                     # 200번 되풀이해 평균을 본다
    ls = 10**rng.uniform(-4, -1, budget)
    os_ = rng.uniform(0, 1, budget)
    rand_scores.append(max(score(a, b) for a, b in zip(ls, os_)))
    rand_lrs.append(len(set(np.round(np.log10(ls), 4))))

print(f"같은 예산 {budget}번으로")
print(f"  격자 탐색 (3x3)   학습률을 {grid_tried}가지만 시도   최고 점수 {grid_best:.3f}")
print(f"  무작위 탐색       학습률을 {np.mean(rand_lrs):.0f}가지 시도   최고 점수 {np.mean(rand_scores):.3f}")
print()
print("격자는 9번을 쓰면서 학습률은 3가지만 본다 - 나머지는 중복이다.")
print("무작위는 9번 다 다른 학습률을 본다.")
print("중요한 손잡이가 소수일 때 무작위가 이긴다.")

High school탐색을 어떻게 할까

여러 값을 어떻게 시도할지에도 방법이 있습니다.

방법	설명	효율
격자 탐색	모든 조합을 빠짐없이	나쁘다 ⚠
무작위 탐색	무작위로 뽑는다	좋다 ✔
베이지안 최적화	결과를 보고 다음을 고른다	좋다

놀랍게도 무작위가 격자보다 낫다

왜 그런가

손잡이마다 중요도가 다르기 때문입니다.

방법	중요한 손잡이의 서로 다른 값을 본 횟수
격자 (3×3=9회)	3가지
무작위 9회	9가지 ✔

격자는 안 중요한 축에 시도를 낭비한다

비유 — 지도에서 보물 찾기

보물이 가로 위치에만 달려 있다면?

탐색	가로를 본 횟수
3×3 격자	3곳
무작위 9곳	9곳 ✔

어느 축이 중요한지 모를 때 무작위가 유리하다

그리고 로그 눈금으로

손잡이	뽑는 법
학습률	로그 균등 (1e-5 ~ 1e-1)
규제 세기	로그
층 수	정수 균등

배수가 의미 있는 값은 로그로 — /ml 11강과 같다

High school돌릴 때마다 결과가 다르다

note 의 이 경고가 딥러닝 특유의 문제입니다.

같은 코드 · 같은 자료인데 결과가 다르다

어디서 무작위성이 오나

원인	설명
초기화	가중치가 무작위 (6강)
배치 섞기	7강
드롭아웃	8강
GPU 연산 순서	병렬이라 덧셈 순서가 다르다

마지막은 seed 를 고정해도 남는다 — 완전한 재현은 어렵다

얼마나 차이 나나

상황	AUC 변동
자료가 많다	±0.005 — 작다
자료가 적다	±0.05 이상 ⚠

모형 A 0.85 vs B 0.83 이 seed 차이일 수 있다

그래서 반드시 할 것

방법	설명
여러 seed 로 돌린다	보통 5~10회 ⭐
평균 ± 표준편차로 보고	숫자 하나로 말하지 않는다
seed 를 기록한다	재현 가능하게

"가장 좋았던 seed" 를 고르는 것은 다중 비교다 ⚠

비유 — 주사위 게임 실력 비교

비교	믿을 만한가
한 판씩 해서 이긴 쪽	운이다
100판의 평균	실력 ✔

한 번의 결과로 모형을 고르면 운을 고르는 것이다

설정이 <b>완전히 같은데</b> 씨앗만으로 점수가 저만큼 흔들립니다.

Python Runs in your browser

# 씨앗만 바꿔도 점수가 얼마나 흔들리나
import numpy as np
rng0 = np.random.default_rng(121)
def sigmoid(z): return 1/(1+np.exp(-np.clip(z, -30, 30)))

N = 300
X = rng0.normal(0, 1, (N, 4))
z = X[:,0]*1.0 - X[:,1]*0.7
y = (rng0.random(N) < sigmoid(z)).astype(float)
Xte = rng0.normal(0, 1, (2000, 4))
yte = (rng0.random(2000) < sigmoid(Xte[:,0]*1.0 - Xte[:,1]*0.7)).astype(float)

def train(seed, h=32, steps=1200, lr=0.3):
    r = np.random.default_rng(seed)
    W1 = r.normal(0, np.sqrt(2/4), (4, h)); b1 = np.zeros(h)
    W2 = r.normal(0, np.sqrt(2/h), (h, 1)); b2 = np.zeros(1)
    for _ in range(steps):
        Z1 = X @ W1 + b1; A1 = np.maximum(Z1, 0)
        p = np.clip(sigmoid(A1 @ W2 + b2).ravel(), 1e-9, 1-1e-9)
        d2 = ((p - y)/N)[:, None]
        d1 = (d2 @ W2.T) * (Z1 > 0)
        W2 -= lr*(A1.T @ d2); b2 -= lr*d2.sum(0)
        W1 -= lr*(X.T @ d1);  b1 -= lr*d1.sum(0)
    pte = sigmoid(np.maximum(Xte @ W1 + b1, 0) @ W2 + b2).ravel()
    return ((pte > .5) == (yte == 1)).mean()

accs = np.array([train(s) for s in range(12)])
print("완전히 같은 설정. 초기화 씨앗만 12가지로 바꿨다.")
print()
print("  씨앗별 시험 정확도:", " ".join(f"{a:.3f}" for a in accs))
print()
print(f"  평균 {accs.mean():.4f}   표준편차 {accs.std():.4f}")
print(f"  최저 {accs.min():.3f}  최고 {accs.max():.3f}   폭 {accs.max()-accs.min():.3f}")
print()
print("이 폭보다 작은 차이로 '우리 모형이 더 낫다' 고 하면 안 된다.")

🤔 Check yourself

논문이 '제안 모형 AUC 0.871, 기존 방법 0.864' 라고 보고했습니다. 확인해야 할 것은?