14강 / 20강

트랜스포머 — 같은 덩어리를 쌓는다

어텐션 + 완전연결 + 잔차 + 층 정규화

트랜스포머 한 덩어리에 든 것은 전부 앞에서 나온 것들입니다.

   x
   ├──────────────┐
   │        층 정규화 (9강)
   │        멀티헤드 어텐션 (13강)
   └──── + ───────┘        ← 잔차 연결 (6강)
   │
   ├──────────────┐
   │        층 정규화
   │        완전연결 두 층 + ReLU (3강)
   └──── + ───────┘        ← 잔차 연결
   │
   출력  →  다음 덩어리로

새로운 것은 멀티헤드 하나뿐입니다.

고등학생같은 덩어리를 쌓는다

트랜스포머는 새 아이디어의 모음이 아닙니다.

이미 배운 부품 넷을 조합해 블록 하나를 만들고 쌓는다

부품	배운 곳	하는 일
셀프 어텐션	13강	어디를 볼지
완전연결	3강	가져온 정보를 가공
잔차 연결	6강	깊이를 가능하게
층 정규화	9강	눈금을 맞춘다

이 강의의 앞부분 전체가 여기서 모인다

블록의 구조

x → 층정규화 → 어텐션 → +x  (잔차)
  → 층정규화 → 완전연결 → +x  (잔차)

단순한 덩어리를 수십~수백 개 쌓는 것이 전부다

왜 같은 블록을 반복하나

이점	설명
확장이 쉽다	층 수만 바꾸면 된다
구현이 단순	블록 하나만 잘 짜면 된다
병렬화	구조가 균일하다

균일한 구조가 대규모 학습을 가능하게 했다

비유 — 벽돌 건축

방식	확장
층마다 다른 구조	설계를 매번 다시
같은 벽돌을 쌓는다	높이만 정하면 된다 ✔

단순함이 규모를 가능하게 한다

헤드마다 <b>다른 자리</b>를 봅니다. 차원을 쪼개 나눠 가지므로 계산량은 그대로예요.

Python 브라우저에서 실행

# 멀티헤드 - 여러 개가 서로 다른 것을 본다
import numpy as np
rng = np.random.default_rng(151)

L, d, H = 8, 32, 4                     # 길이 8, 차원 32, 헤드 4개
dh = d // H
X = rng.normal(0, 1, (L, d))

def head(X, seed):
    r = np.random.default_rng(seed)
    Wq = r.normal(0, .3, (d, dh)); Wk = r.normal(0, .3, (d, dh)); Wv = r.normal(0, .3, (d, dh))
    Q, K, V = X @ Wq, X @ Wk, X @ Wv
    s = Q @ K.T / np.sqrt(dh)
    W = np.exp(s - s.max(1, keepdims=True)); W = W / W.sum(1, keepdims=True)
    return W @ V, W

outs, weights = [], []
for hh in range(H):
    o, w = head(X, 200 + hh)
    outs.append(o); weights.append(w)
out = np.concatenate(outs, axis=1)      # 이어 붙이면 다시 d 차원

print(f"헤드 {H}개 · 각 {dh}차원 -> 이어 붙이면 {out.shape[1]}차원 (원래대로)")
print()
print("0번 자리가 각 헤드에서 가장 많이 본 자리:")
for hh in range(H):
    w = weights[hh][0]
    print(f"  헤드 {hh}   {int(w.argmax())}번 자리 (무게 {w.max():.2f})   "
          f"무게 분포의 고른 정도 {(-(w*np.log(w+1e-12)).sum()):.2f}")
print()
print("헤드마다 다른 자리를 본다. 하나는 가까운 곳을, 하나는 먼 곳을 볼 수 있다.")
print("차원을 쪼개 나눠 갖기 때문에 계산량은 헤드 하나일 때와 비슷하다.")

고등학생위치 정보는 어떻게 주나

어텐션에는 구멍이 하나 있습니다.

어텐션은 순서를 모른다 — 단어를 섞어도 결과가 같다

왜 그런가

어텐션은 모든 쌍을 봅니다. 그런데 "몇 번째" 라는 정보가 어디에도 없어요.

입력	어텐션의 결과
"개가 사람을 물었다"	같다 ⚠
"사람이 개를 물었다"	같다 ⚠

12강에서 순서가 뜻을 가진다고 했는데 — 그걸 못 쓴다

그래서 위치를 '더해' 줍니다

방법	설명
사인/코사인	주기 함수로 위치를 인코딩
학습된 임베딩	위치마다 벡터를 배운다
상대 위치	"몇 칸 떨어졌나" 를 쓴다 ⭐

요즘은 상대 위치가 주류다 — 긴 서열에 잘 늘어난다

왜 상대가 나은가

방식	학습 때 안 본 길이에서
절대 위치	모른다 ⚠
상대 위치	"3칸 앞" 은 여전히 통한다 ✔

11강의 가중치 공유 와 같은 발상이다 — 위치에 무관한 규칙

비유 — 좌석 번호와 "옆자리"

표현	다른 극장에서
"15번 좌석"	다른 자리가 된다
"내 옆자리"	어디서든 통한다 ✔

자리 정보를 따로 넣어야 한다

어텐션에는 순서 개념이 없습니다. Q·K 내적은 자리를 안 보거든요 — 서열을 뒤섞어도 결과가 같습니다.

그래서 위치 정보를 입력에 더해 넣습니다.

입력 = 토큰 임베딩 + 위치 임베딩

  토큰 임베딩   "이 자리는 알라닌이다"
  위치 임베딩   "이 자리는 앞에서 37번째다"

둘을 더한 것이 첫 덩어리로 들어갑니다. 이 한 줄이 없으면 트랜스포머는 서열을 순서 없는 주머니로 봅니다.

위치 임베딩 없이는 서열을 <b>뒤섞어도 결과가 같습니다</b>.

Python 브라우저에서 실행

# 위치 정보가 없으면 - 뒤섞어도 결과가 같다
import numpy as np
rng = np.random.default_rng(161)

L, d = 5, 8
X = rng.normal(0, 1, (L, d))
Wq = rng.normal(0, .4, (d, d)); Wk = rng.normal(0, .4, (d, d)); Wv = rng.normal(0, .4, (d, d))

def attn(X):
    Q, K, V = X @ Wq, X @ Wk, X @ Wv
    s = Q @ K.T / np.sqrt(d)
    W = np.exp(s - s.max(1, keepdims=True)); W = W / W.sum(1, keepdims=True)
    return W @ V

perm = np.array([3, 0, 4, 1, 2])
out1 = attn(X)
out2 = attn(X[perm])

print("서열을 뒤섞은 뒤 어텐션을 돌리고, 결과를 원래 순서로 되돌려 보면:")
back = np.empty_like(out2)
back[perm] = out2
print(f"  원래 순서로 돌린 결과와의 차이  {np.abs(out1 - back).max():.2e}")
print()
print("완전히 같다. 어텐션은 순서를 모른다.")
print()
# 위치 임베딩을 더하면
pos = np.array([[np.sin(i/(10000**(2*(j//2)/d))) if j%2==0
                 else np.cos(i/(10000**(2*(j//2)/d))) for j in range(d)] for i in range(L)])
out3 = attn(X + pos)
out4 = attn((X + pos)[perm])
back2 = np.empty_like(out4); back2[perm] = out4
print("위치 임베딩을 더한 뒤 같은 실험:")
print(f"  차이  {np.abs(out3 - back2).max():.4f}   <- 이제 순서를 구별한다")

고등학생트랜스포머가 이긴 진짜 이유

기술적 우수함만은 아니었습니다.

가장 큰 이유 — 규모를 키우면 계속 좋아졌다

이게 왜 특별한가

대부분의 모형은 어느 지점부터 좋아지지 않습니다.

모형	크기를 키우면
기존 모형들	어느 선에서 포화
트랜스포머	계속 좋아진다 ✔

이걸 스케일링 법칙이라 한다 — 예측 가능하게 좋아진다

그래서 전략이 바뀌었습니다

시대	연구 방향
이전	더 나은 구조를 찾는다
이후	더 크게 · 자료를 더 많이

"어떻게" 보다 "얼마나" 가 중요해졌다

왜 확장이 가능했나 — 세 가지

조건	설명
병렬화	GPU 수천 대를 쓸 수 있다 (13강)
균일한 구조	층만 늘리면 된다
자기지도 학습	라벨 없는 자료를 쓸 수 있다 (15강) ⭐

세 번째가 결정적이다 — 인터넷 전체가 훈련 자료가 되었다

비유 — 도로와 자동차

것	비유
좋은 엔진	구조
고속도로	병렬 계산
연료	라벨 없는 자료

3강의 결론이 여기서도 — 조건이 갖춰져야 아이디어가 산다

🤔 확인 문제

트랜스포머에 위치 임베딩을 넣지 않으면?