11강 / 20강

합성곱 — 같은 창을 옮겨 가며 본다

이미지와 서열, 그리고 가중치를 나눠 쓴다는 발상

슬라이드 조각 하나가 256×256 화소라고 합시다. 3강의 방식대로 전부 이어 붙이면 입력이 65,536칸이고, 은닉 칸 100개짜리 층 하나에 가중치가 650만 개입니다.

그리고 그렇게 하면 왼쪽 위에서 배운 것을 오른쪽 아래에서 다시 배워야 합니다. 림프구는 어디에 있든 림프구인데요.

작은 창 하나를 모든 자리에 같이 쓴다

고등학생같은 창을 옮겨 가며 본다

3강 방식으로 이미지를 다루면 문제가 생깁니다.

256×256 이미지를 전부 이어 붙이면 입력이 65,536칸

무엇이 문제인가

문제	설명
파라미터 폭발	은닉 1000칸이면 6,500만 개
위치 정보 상실	이어 붙이면 이웃 관계가 사라진다
위치마다 따로 배운다	왼쪽 위의 고양이와 오른쪽 아래의 고양이를 따로 ⚠

세 번째가 가장 낭비다 — 같은 것을 위치마다 다시 배운다

합성곱의 발상

작은 창(필터) 하나를 모든 위치에 옮겨 가며 댄다

	완전연결	합성곱
파라미터	6,500만	3×3 = 9개 ✔
위치 이동	다시 배워야	저절로 통한다 ✔

가중치를 나눠 쓴다 — 이게 핵심 발상이다

비유 — 도장과 손글씨

방식	일의 양
위치마다 손으로 그린다	위치 수만큼
도장을 찍는다	도장 하나 ✔

모양이 같으면 도장 하나면 된다 — 그게 가중치 공유다

그리고 도장은 어디에 찍어도 같은 모양을 냅니다. 그래서 위치가 달라도 알아봅니다.

가중치 <b>아홉 개</b>가 676자리를 다 맡습니다. 그리고 그 아홉 개를 배웁니다.

Python 브라우저에서 실행

# 합성곱을 손으로 - 창 하나로 가장자리를 찾는다
import numpy as np
import matplotlib.pyplot as plt

# 간단한 그림 - 가운데 밝은 네모
img = np.zeros((28, 28))
img[8:20, 8:20] = 1.0

def conv2d(x, k):
    kh, kw = k.shape
    out = np.zeros((x.shape[0]-kh+1, x.shape[1]-kw+1))
    for i in range(out.shape[0]):
        for j in range(out.shape[1]):
            out[i, j] = np.sum(x[i:i+kh, j:j+kw] * k)
    return out

kernels = {
    "세로 가장자리": np.array([[-1,0,1],[-2,0,2],[-1,0,1]], float),
    "가로 가장자리": np.array([[-1,-2,-1],[0,0,0],[1,2,1]], float),
    "흐리게":       np.ones((3,3))/9,
}
fig, axes = plt.subplots(1, 4, figsize=(11, 3))
axes[0].imshow(img, cmap="gray"); axes[0].set_title("원본", fontsize=8)
for ax, (name, k) in zip(axes[1:], kernels.items()):
    ax.imshow(conv2d(img, k), cmap="gray"); ax.set_title(name, fontsize=8)
for ax in axes: ax.set_xticks([]); ax.set_yticks([])
plt.tight_layout(); plt.show()

print("창(커널)은 3x3 = 9개의 수뿐이다.")
print("그 아홉 개를 26x26 = 676 자리에 전부 같이 쓴다.")
print()
print("빽빽이 연결하면 28*28 x 26*26 = ", 28*28*26*26, "개의 가중치가 필요하다")
print("합성곱은                      9 개면 된다")
print()
print("그리고 이 커널은 손으로 정한 것이지만, 신경망에서는 **배운다**.")
print("어떤 창이 쓸모 있는지를 자료가 정하게 두는 것이다.")

고등학생가중치를 나눠 쓴다는 것

이 발상이 왜 그렇게 강력한지 조금 더 봅시다.

"고양이 귀" 를 알아보는 창은 어디서든 고양이 귀를 알아본다

이걸 뭐라고 부르나

성질	뜻
이동 등변성	입력이 옮겨지면 출력도 같이 옮겨진다

구조에 미리 넣어 둔 지식이다 — 배울 필요가 없다

이게 왜 중요한가

/ml 5강에서 봤듯 배울 게 적을수록 자료가 덜 듭니다.

구조	필요한 자료
완전연결	위치마다 예시가 필요 ⚠
합성곱	한 위치에서 배우면 끝 ✔

구조에 넣은 가정이 맞으면 자료가 훨씬 덜 든다

그런데 가정이 틀리면

자료	합성곱이 맞나
이미지	맞다 — 어디서든 가장자리는 가장자리 ✔
DNA 서열	대체로 맞다 — 모티프는 어디든
표 형태 자료	안 맞는다 — 열 순서에 의미가 없다 ⚠

표 자료에 CNN 을 쓰는 것은 잘못된 가정이다

비유 — 도구와 재료의 궁합

도구	전제
대패	결이 한 방향이다
—	결이 없는 재료엔 안 맞는다

20강의 결론 — 자료의 구조가 모형을 정한다

합성곱이 공짜로 얻는 두 가지

가중치를 나눠 쓴다

자리마다 따로 배우지 않는다
→ 가중치가 수만 배 줄어든다

자리를 안 탄다

왼쪽 위에서 배운 것이 오른쪽 아래에서도 통한다

둘 다 구조에 미리 심어 둔 가정입니다 — "이웃한 화소가 관련 있다", "어디에 있든 같은 무늬는 같은 뜻이다". 이 가정이 맞는 자료에서 합성곱이 강합니다.

그래서 이미지·소리·유전체 서열에 잘 듣고, 표 형태 자료에는 별로예요 — 열의 순서에 아무 뜻이 없으니까요.

서열에서 모티프를 찾는 일이 <b>1차원 합성곱</b>입니다. 그리고 그 모티프를 배웁니다.

Python 브라우저에서 실행

# 1차원 합성곱 - 서열에서 모티프를 찾는다
import numpy as np
rng = np.random.default_rng(131)

bases = "ACGT"
def onehot(s):
    m = np.zeros((4, len(s)))
    for i, c in enumerate(s):
        m[bases.index(c), i] = 1
    return m

motif = "TGACTCA"                       # 찾고 싶은 무늬
seq = "".join(rng.choice(list(bases), 60))
pos = 22
seq = seq[:pos] + motif + seq[pos+len(motif):]

X = onehot(seq)
K = onehot(motif)                       # 그 무늬 그대로를 커널로

scores = np.array([np.sum(X[:, i:i+K.shape[1]] * K)
                   for i in range(X.shape[1] - K.shape[1] + 1)])

print("서열:", seq)
print(f"모티프 {motif} 를 {pos} 자리에 심어 두었다")
print()
best = int(np.argmax(scores))
print(f"합성곱 점수가 가장 높은 자리: {best}   (점수 {scores[best]:.0f} / {len(motif)})")
print(f"두 번째로 높은 자리:          {int(np.argsort(scores)[-2])}   "
      f"(점수 {np.sort(scores)[-2]:.0f})")
print()
print("창 하나를 서열 전체에 훑어 가장 잘 맞는 자리를 찾았다.")
print("신경망에서는 이 커널(무늬)을 사람이 주지 않고 자료에서 배운다 -")
print("어떤 모티프가 중요한지를 모형이 스스로 찾는 셈이다.")

고등학생풀링과 깊이

note 가 든 두 가지를 왜 필요한지와 함께.

풀링 — 해상도를 줄인다

효과	설명
계산 절약	절반으로 줄이면 1/4
시야가 넓어진다	같은 3×3 창이 더 넓은 영역을 본다
작은 이동에 둔감	1픽셀 흔들려도 같은 답

두 번째가 핵심이다 — 수용 영역이 커진다

수용 영역이 뭔가

출력 한 칸이 원본의 얼마나 넓은 영역을 보는가입니다.

층	수용 영역
1층 (3×3)	3×3
2층	5×5
풀링 후 3층	훨씬 넓다

깊이 쌓아야 큰 물체를 볼 수 있다 — 3강의 계층 구조

그래서 CNN 의 전형적 모양

진행	공간 크기	채널 수
앞	크다	적다
뒤	작다	많다

"어디에 있나" 를 버리고 "무엇인가" 를 얻는다

비유 — 지도의 축척

축척	보이는 것
1:1,000	건물 모양 — 세부
1:100,000	도시 전체 — 큰 구조

세부를 버려야 전체가 보인다 — 둘을 동시에는 못 본다

고등학생생물 자료에서 합성곱

이미지 말고 서열에서도 씁니다.

DNA·단백질 서열은 1차원 이미지처럼 다룰 수 있다

무엇이 대응되나

이미지	서열
픽셀	염기 · 아미노산
3×3 창	길이 k 의 창
가장자리 검출	모티프 검출 ⭐

필터 하나가 전사인자 결합 모티프 하나를 배운다

왜 잘 맞나

가정	서열에서
같은 패턴이 어디서든 의미 있다	맞다 — 모티프는 위치 무관 ✔
이웃이 관련 있다	맞다 ✔
계층적 구조	모티프 → 조합 → 조절 ✔

이미지의 가정이 서열에도 거의 그대로 통한다

그런데 한계도 있습니다

한계	설명
멀리 있는 관계	수천 염기 떨어진 인핸서 ⚠
—	층을 아주 많이 쌓아야 닿는다

12강의 "멀리 있는 것" 문제 — 그리고 13강 어텐션이 답한다

해석의 이점 하나

학습된 필터를 서열 로고로 그릴 수 있습니다. 그러면 알려진 모티프와 비교되죠.

모형이 배운 것이 이미 아는 생물학과 맞으면 신뢰가 는다

/ml 18강의 해석 이야기입니다. 확인할 수 있는 도메인이라는 게 큰 장점이에요.

🤔 확인 문제

합성곱이 표 형태 자료(행이 환자, 열이 유전자)에 잘 안 맞는 이유는?