12강 / 20강

서열 — 차례대로 읽기의 한계

순환 신경망과 '멀리 있는 것' 문제

단백질 서열, 염기 서열, 문장 — 길이가 제각각이고 차례가 뜻을 가지는 자료입니다.

가장 자연스러운 발상은 앞에서부터 읽으며 기억을 넘기는 것입니다.

h₁ = f(x₁, h₀)
h₂ = f(x₂, h₁)      ← 같은 f 를 되풀이해서 쓴다
h₃ = f(x₃, h₂)
...

이것이 순환 신경망이고, 문제도 여기서 나옵니다 — 100자리 떨어진 것을 보려면 f 를 100번 통과해야 해요.

고등학생차례대로 읽기의 한계

서열은 순서가 뜻을 가집니다.

"개가 사람을 물었다" 와 "사람이 개를 물었다" 는 다르다

순환 신경망의 발상

하나씩 읽으면서 기억을 갱신합니다.

단계	하는 일
1	첫 글자 + 빈 기억 → 새 기억
2	둘째 글자 + 기억 → 새 기억
…	반복

기억 하나에 지금까지의 전부를 압축한다

두 가지 제약이 생깁니다

제약	설명
순차적이다	앞을 끝내야 뒤를 한다 — 병렬 불가 ⚠
멀리 못 간다	기억이 희석된다 ⚠

13강에서 이 둘이 한꺼번에 풀린다

비유 — 전화로 이야기 전달하기

10명이 차례로 전화를 걸어 이야기를 전합니다.

문제	대응
동시에 못 한다	순차적
뒤로 갈수록 왜곡	기억 희석

그리고 10번째 사람은 첫 사람이 뭐라 했는지 거의 모른다

100자리 떨어진 것의 영향이 <b>사실상 0</b> 입니다. 되풀이해 곱하니까요.

Python 브라우저에서 실행

# 멀리 있는 것을 기억할 수 있나 - 되풀이해 곱하면 어떻게 되나
import numpy as np

print("순환 신경망은 같은 가중치를 되풀이해 곱한다.")
print("그 값이 1 보다 작으면 줄고, 크면 는다 - 6강과 같은 문제다.")
print()
print("  거리    곱하는 값 0.7        1.0         1.3")
for d in [1, 5, 10, 20, 50, 100]:
    print(f"  {d:4d}   {0.7**d:15.3e}  {1.0**d:10.3f}  {1.3**d:12.3e}")
print()
print("100자리 떨어진 것의 영향은 0.7^100 = 사실상 0 이다.")
print("1.3 쪽은 폭발한다.")
print()
print("LSTM·GRU 같은 구조가 '기억을 그대로 흘려보내는 통로' 를 만들어")
print("이 문제를 상당히 완화했다 - 6강의 잔차 연결과 같은 발상이다.")
print("그래도 근본적으로는 **차례대로** 지나가야 한다는 제약이 남는다.")

고등학생멀리 있는 것 문제

왜 기억이 희석될까요? 6강의 그 이야기입니다.

기억을 갱신할 때마다 곱하기가 일어난다 — 소실·폭발

100 단계 뒤에는

곱하는 값	100단계 뒤
0.9	0.00003 — 사라진다 ⚠
1.1	13,780 — 폭발 ⚠

6강의 문제가 시간 방향으로 일어난 것이다

그래서 나온 것이 LSTM · GRU

6강의 잔차 연결과 같은 발상입니다 — 기억이 그냥 지나가는 길을 만들어요.

부품	하는 일
망각 게이트	무엇을 잊을지 정한다
입력 게이트	무엇을 새로 담을지
셀 상태	거의 그대로 흘러가는 길 ⭐

"무엇을 기억할지" 를 배운다 — 그게 게이트다

그래도 한계가 남습니다

개선	남는 문제
수백 단계까지 기억한다	수천 단계는 여전히 어렵다
—	순차성은 그대로 ⚠

병렬화가 안 되는 것이 결정적 한계였다 — GPU 를 못 쓴다

비유 — 릴레이와 회의

방식	시간
릴레이 (RNN)	사람 수만큼
다 같이 회의 (어텐션)	한 번 ✔

13강이 그 전환이다

순환 신경망의 두 가지 제약

먼 것을 못 본다

거리만큼 곱해야 해서 신호가 희미해진다

병렬로 못 돈다

h₂ 를 알아야 h₃ 를 계산한다
→ 길이만큼 순서대로 기다려야 한다

두 번째가 실무에서 특히 아팠습니다. 그래픽 카드는 한꺼번에 계산할 때 빠른데, 순환 구조는 그걸 막거든요.

그래서 물음이 바뀝니다 — 차례대로 지나가지 않고, 필요한 자리를 바로 볼 수는 없을까.

고등학생생물 서열에서 왜 이것이 중요한가

note 의 이 이야기를 구체적으로 봅시다.

생물 서열은 멀리 떨어진 것이 서로 작용한다

예를 들면

현상	거리
인핸서 – 프로모터	수천~수십만 염기 ⚠
단백질 접힘	서열상 멀어도 공간에서 이웃
RNA 이차구조	먼 염기끼리 짝을 이룬다

서열의 거리와 기능의 거리가 다르다

단백질 접힘이 특히 그렇습니다

1번 아미노산과 200번 아미노산이 접히고 나면 바로 옆에 있을 수 있습니다.

모형	이 관계를
CNN	층을 아주 많이 쌓아야
RNN	희석된다
어텐션	바로 연결한다 ✔

16강의 AlphaFold 가 어텐션을 쓰는 이유가 여기 있다

비유 — 긴 실 목걸이

실에 꿴 구슬 목걸이를 목에 걸면 실에서 멀리 있던 구슬이 맞닿습니다.

거리	—
실을 따라	200칸
공간에서	바로 옆

서열은 펼친 상태이고 기능은 접힌 상태에서 일어난다

그래서 "몇 번째와 몇 번째가 관련 있나" 를 배울 수 있는 구조가 필요했습니다. 그게 어텐션이에요.

🤔 확인 문제

순환 신경망이 GPU 에서 느린 근본적인 이유는?