성구박사의 딥러닝 첫걸음

직선 하나로 안 될 때
층을 쌓는다

/ml 11강이 딥러닝을 꺼내기 전에 선형 모형부터 로 끝났습니다. 이 20강은 그 다음입니다.
네 점을 직선으로 가를 수 없다는 데서 시작해 역전파를 손으로 짜고(수치미분과 맞춰 보고), 어텐션을 여섯 줄로 만들고, AlphaFold 가 왜 그 구조를 썼는지까지 갑니다. PyTorch 를 쓰지 않습니다 — 안이 어떻게 생겼는지는 한 번 짜 봐야 아니까요.

🐍 Python🧠 역전파📉 기울기 소실 🪟 합성곱👀 어텐션🧬 AlphaFold🇰🇷 한국어

1강 시작하기 →

이렇게 배웁니다

✍️역전파를 손으로

연쇄법칙 한 줄이면 됩니다. 스무 줄쯤 짜고 수치미분과 맞춰 봅니다 — 아홉 자리까지 맞습니다.

🔍왜 안 되는가부터

직선 22만 개를 다 시도해 XOR 을 못 가른다는 것을 확인하고 시작합니다. 층을 쌓는 이유가 거기서 나옵니다.

🧬생물학까지

어텐션이 왜 단백질에 맞는지, AlphaFold 가 CASP14 에서 92.4 를 어떻게 냈는지까지 갑니다.

⚖️안 쓰는 것도 답

마지막 강은 언제 쓰지 말아야 하나 입니다. 표 자료에 표본이 적으면 로지스틱 회귀가 이깁니다.

전체 커리큘럼

직선 하나가 못 하는 것 — 그래서 층을 쌓는다

/ml 11강이 멈춘 자리에서

뉴런 하나는 로지스틱 회귀다

새로운 것이 아니라 이미 아는 것

층을 쌓으면 — 굽은 경계가 생긴다

은닉 칸 수와 층 수가 하는 일

역전파 — 연쇄법칙 하나가 전부다

손으로 스무 줄이면 끝난다

학습 — 손실을 굴러 내려간다

학습률 하나가 되고 안 되고를 가른다

기울기가 사라진다 — 깊은 신경망이 오래 안 되던 이유

초기화 · ReLU · 잔차 연결

미니배치 — 전부 보지 않고 조금씩 본다

잡음이 오히려 도움이 되는 자리

외우지 못하게 막기 — 조기종료 · 드롭아웃 · 감쇠

딥러닝에서 과적합은 예외가 아니라 기본값이다

정규화 층 — 중간 값들의 눈금을 맞춘다

배치 정규화와 층 정규화

손잡이가 너무 많다 — 무엇부터 만지나

그리고 '돌릴 때마다 결과가 다른' 문제

합성곱 — 같은 창을 옮겨 가며 본다

이미지와 서열, 그리고 가중치를 나눠 쓴다는 발상

서열 — 차례대로 읽기의 한계

순환 신경망과 '멀리 있는 것' 문제

어텐션 — 어디를 볼지 배운다

거리와 상관없이, 한꺼번에

트랜스포머 — 같은 덩어리를 쌓는다

어텐션 + 완전연결 + 잔차 + 층 정규화

사전학습 — 남의 모형을 가져다 쓰는 이유

표본이 적을 때 딥러닝을 쓸 수 있게 만든 것

단백질 — 서열에서 접힌 모양으로

AlphaFold 가 CASP14 에서 한 일

슬라이드와 세포 — 이 사이트의 자료에 대 보면

/til 의 조각 4억 6천만 개

딥러닝에서 특히 잘 속는 것들

/ml 의 함정이 여기서 더 심해진다

실습 종합 — 신경망 하나를 처음부터 끝까지

numpy 로 짜고, 학습시키고, 정직하게 채점한다

정리 — 언제 쓰고 언제 안 쓰나

깊은 것이 언제나 이기지는 않는다