13강 / 20강

어텐션 — 어디를 볼지 배운다

거리와 상관없이, 한꺼번에

발상을 한 줄로 적으면 이렇습니다.

각 자리가 모든 자리를 보고, 얼마나 볼지를 스스로 정한다

거리가 1이든 500이든 한 걸음입니다. 그리고 모든 자리를 동시에 계산할 수 있어요. 12강의 두 제약이 한꺼번에 풀립니다.

자리마다 세 가지를 만든다

  질의 Q   "나는 무엇을 찾고 있나"
  열쇠 K   "나는 무엇을 갖고 있나"
  값   V   "내가 넘겨줄 내용"

  점수 = Q·K        (질의와 열쇠가 맞으면 점수가 높다)
  무게 = softmax(점수)
  출력 = 무게로 가중한 V 의 합

고등학생어디를 볼지 배운다

12강의 두 제약이 한꺼번에 풀립니다.

제약	어텐션
순차적이다	한꺼번에 본다 ✔
멀리 못 간다	거리와 무관 ✔

모든 위치가 모든 위치를 직접 본다

어떻게 동작하나

각 위치가 세 가지를 만듭니다.

이름	뜻
질의 (Q)	"나는 무엇을 찾나"
열쇠 (K)	"나는 무엇을 가졌나"
값 (V)	"내가 줄 정보"

Q 와 K 를 맞춰 보고 맞는 만큼 V 를 가져온다

비유 — 도서관에서 자료 찾기

요소	비유
질의	"광합성에 대해 알고 싶다"
열쇠	각 책의 제목·키워드
값	책의 내용

제목을 훑어 관련도를 매기고 관련 높은 책의 내용을 더 많이 참고하죠.

"전부 조금씩" 보되 가중치가 다르다 — 그게 어텐션이다

중요한 점

이 관련도를 사람이 정하지 않고 모형이 배운다

여섯 줄입니다. <code>sqrt(d)</code> 로 나누는 이유까지 아래에서 확인해요.

Python 브라우저에서 실행

# 어텐션을 손으로 - 여섯 줄이면 끝난다
import numpy as np
rng = np.random.default_rng(141)

L, d = 6, 4                       # 서열 길이 6, 차원 4
X = rng.normal(0, 1, (L, d))
Wq = rng.normal(0, .5, (d, d)); Wk = rng.normal(0, .5, (d, d)); Wv = rng.normal(0, .5, (d, d))

Q, K, V = X @ Wq, X @ Wk, X @ Wv
scores = Q @ K.T / np.sqrt(d)                       # 스케일링
W = np.exp(scores - scores.max(1, keepdims=True))
W = W / W.sum(1, keepdims=True)                     # softmax
out = W @ V

print("어텐션 무게 행렬 (행: 보는 자리, 열: 보이는 자리)")
print("   ", "  ".join(f"{j:5d}" for j in range(L)))
for i in range(L):
    print(f"{i:2d} ", "  ".join(f"{W[i,j]:5.2f}" for j in range(L)),
          f"   합 {W[i].sum():.2f}")
print()
print("각 행의 합이 1 이다 - 무게를 나눠 갖는다.")
print(f"0번 자리가 가장 많이 본 자리: {int(W[0].argmax())} (무게 {W[0].max():.2f})")
print()
print("왜 sqrt(d) 로 나누나 - 차원이 크면 내적이 커져 softmax 가 한쪽으로 쏠린다:")
for dim in [4, 64, 512]:
    q = rng.normal(0, 1, dim); k = rng.normal(0, 1, dim)
    raw = float(q @ k)
    print(f"  차원 {dim:4d}   내적의 크기 {abs(raw):8.1f}   나눈 뒤 {abs(raw)/np.sqrt(dim):6.2f}")

고등학생왜 이게 그렇게 강력한가

어텐션의 구조적 이점을 정리해 봅시다.

	RNN	CNN	어텐션
두 위치를 잇는 단계 수	거리만큼	log 정도	1 ✔
병렬화	불가	가능	가능 ✔
계산량	길이 n	n	n² ⚠

모든 것을 얻었지만 계산량을 내줬다

n² 이 왜 문제인가

서열 길이	쌍의 수
512	26만
10,000	1억 ⚠
1,000,000	1조 — 불가능

긴 유전체 서열에 그대로 쓸 수 없다 — 여전히 활발한 연구 주제다

그런데 왜 그래도 이겼나

GPU 는 병렬에 아주 강합니다. n² 이어도 동시에 하면 빠르죠.

모형	GPU 활용
RNN	못 한다 — 순차라서
어텐션	완전히 활용 ✔

계산량이 많아도 동시에 할 수 있으면 실제로는 빠르다

비유 — 시험 채점

방식	100장 채점
한 사람이 차례로	100단위 시간
100명이 한 장씩	1단위 ✔

일의 총량은 같아도 나눌 수 있으면 훨씬 빠르다

/ca 11강의 병렬성 이야기입니다. "나눠지는 일" 이 이 시대에 이기는 이유예요.

왜 이것이 그렇게 강한가

	순환	합성곱	어텐션
멀리 있는 것까지 거리	O(n) 걸음	층을 쌓아야	한 걸음
병렬로 계산	안 된다	된다	된다
계산량	O(n)	O(n)	O(n²)
무엇을 볼지	정해져 있다	이웃만	배운다

세 번째 줄이 대가입니다 — 모든 자리가 모든 자리를 보니 길이의 제곱으로 계산이 늘어요. 서열이 길어지면 이게 벽이 되고, 그 벽을 넘으려는 연구가 지금도 활발합니다.

고등학생'셀프' 어텐션이라 부르는 이유

note 의 이 물음에 답해 봅시다.

Q · K · V 를 모두 같은 서열에서 만든다 — 그래서 '셀프'

셀프가 아닌 경우

종류	Q 의 출처	K·V 의 출처
셀프	같은 서열	같은 서열
교차	번역할 문장	원문

번역에서는 한국어가 영어를 참조한다 — 교차 어텐션

셀프 어텐션이 하는 일

같은 문장 안에서 단어끼리 관계를 봅니다.

문장	"그것" 이 가리키는 것
"공이 상자에 안 들어갔다. 그것이 너무 컸다"	공
"공이 상자에 안 들어갔다. 그것이 너무 작았다"	상자

한 단어 차이로 가리키는 대상이 바뀐다 — 어텐션이 이걸 배운다

머리가 여러 개인 이유

멀티헤드 어텐션은 이 과정을 여러 벌 합니다.

머리	배우는 관계
1번	문법적 관계
2번	지시 대상
3번	의미적 유사성

한 종류의 관계만으로는 부족하다 — 여러 관점을 동시에

비유 — 문장을 여러 번 읽기

읽는 목적	보이는 것
문법을 보며	주어 · 서술어
내용을 보며	사건의 흐름
감정을 보며	어조

같은 글을 다른 눈으로 읽으면 다른 것이 보인다

🤔 확인 문제

어텐션의 계산량이 서열 길이 n 에 대해 O(n²) 인 이유는?