1강 / 20강

우연인가와 새것에도 되나 — 다른 물음이다

/stat 이 답하는 것과 이 강의가 답하는 것

/stat 은 이 물음에 답했습니다 — 이만한 차이가 그냥 우연일 수 있는가.

이 강의는 다른 물음에 답합니다 — 이 규칙이 새 자료에서도 맞히는가.

둘은 자주 뒤섞이지만 성공의 기준이 다릅니다.

고등학생두 물음은 다른 물음이다

통계와 기계학습이 무엇이 다른지 를 먼저 갈라 봅시다.

분야	묻는 것
통계 (`/stat`)	"우연인가?"
기계학습	"새것에도 되나?"

같은 자료를 놓고 다른 것을 묻는다

비유 — 시험 문제

수학 문제집을 다 풀었습니다. 그리고 100점이 나왔어요.

물음	확인하는 법
"찍은 게 아닌가?"	같은 문제를 다시 풀려 본다
"실력인가?"	새 문제를 준다

답을 외웠어도 같은 문제는 다시 맞힌다 — 새 문제라야 안다

왜 이 구분이 중요한가

같은 자료로 만들고 같은 자료로 채점하면 점수는 항상 좋게 나옵니다.

채점 자료	점수	의미
배운 자료	높다	아무 뜻이 없다
안 본 자료	?	진짜 실력

이 강의 전체가 "안 본 자료" 를 지키는 방법론이다

특징이 표본보다 많으면 <b>둘 다</b> 속습니다. 가리는 방법이 다릅니다.

Python 브라우저에서 실행

# 같은 자료, 다른 물음
import numpy as np
rng = np.random.default_rng(1)

n, p = 40, 200          # 표본 40개, 특징 200개 - 생물 자료에서 아주 흔한 모양
X = rng.normal(0, 1, (n, p))
y = rng.normal(0, 1, n)   # 진실: y 는 X 와 아무 관계가 없다

# 추론의 물음 - 각 특징이 y 와 관련 있는가
from scipy import stats
ps = np.array([stats.pearsonr(X[:, j], y)[1] for j in range(p)])
print("추론의 물음: 어떤 특징이 y 와 관련 있는가")
print(f"  p<0.05 인 특징 {(ps<0.05).sum()}개 / {p}개  (우연 기대 {p*0.05:.0f}개)")
print("  -> /stat 14강의 다중검정 문제다")
print()

# 예측의 물음 - 이 특징들로 y 를 맞힐 수 있는가
best = np.argsort(ps)[:5]                 # 가장 관련 있어 보이는 다섯 개로
A = np.column_stack([np.ones(n), X[:, best]])
coef = np.linalg.lstsq(A, y, rcond=None)[0]
pred = A @ coef
r2_train = 1 - ((y - pred)**2).sum() / ((y - y.mean())**2).sum()
print("예측의 물음: 그 특징들로 y 를 맞힐 수 있는가")
print(f"  훈련자료에서의 R² {r2_train:.3f}   <- 아주 좋아 보인다")
print()
print("그런데 y 는 X 와 아무 관계가 없다.")
print("이 두 물음 다 '아니오' 가 답이어야 하는데, 둘 다 '예' 처럼 보인다.")
print("답을 가리는 방법이 서로 다르다 - 그것이 이 강의의 주제다.")

고등학생따로 떼어 두기 — 이 강의의 유일한 무기

note 가 말하는 단 하나의 장치를 봅시다.

자료 일부를 손도 대지 않고 남겨 둔다

왜 이게 그렇게 강력한가

모형이 얼마나 복잡하든 상관없이 통합니다.

모형	이 장치
단순한 선형	통한다 ✔
거대한 신경망	통한다 ✔
아직 나오지 않은 방법	통한다 ✔

모형을 안 봐도 된다 — 결과만 보면 된다

비유 — 요리 심사

심사위원이 조리법을 몰라도 됩니다. 먹어 보면 아니까요.

방법	필요한 것
조리법을 검토한다	요리 지식
맛을 본다	아무것도 ✔

결과로 판단하면 내부를 몰라도 된다

그런데 조건이 하나 있습니다

심사용 요리를 미리 맛보면 안 되죠. 맛본 요리를 고쳐서 낼 테니까요.

시험 자료를 한 번이라도 보면 시험이 아니게 된다

이 규칙을 어기는 것이 16강의 정보 누출입니다. 이 강의에서 가장 중요한 강이에요.

고등학생왜 scikit-learn 을 안 쓰나

note 의 이 선언이 이 강의의 성격을 정합니다.

도구를 쓰면 무엇이 일어나는지 안 보인다

두 가지 배움이 있습니다

배움	결과
쓰는 법	`model.fit()` 을 안다
일어나는 일	왜 그 숫자가 나왔는지 안다

첫째는 하루면 배우고 둘째는 이 강의가 필요하다

왜 둘째가 필요한가

fit() 은 항상 성공합니다. 자료가 엉망이어도 숫자를 내죠.

상황	도구는
자료가 누출됐다	말없이 좋은 점수 ⚠
불균형이 심하다	정확도 99% 라고 답한다
특징이 무의미하다	그래도 돌아간다

도구는 틀렸다고 말해 주지 않는다

비유 — 계산기와 암산

계산기가 1234 라고 답했습니다. 맞을까요?

능력	알 수 있는 것
계산기만 쓴다	모른다
어림셈을 안다	"자릿수가 이상하다" ✔

직접 해 보면 이상한 답을 알아보는 감이 생긴다

실무에서는 물론 도구를 씁니다. 다만 의심할 줄 아는 사람이 되려고 여기서는 손으로 합니다.

이 사이트에도 이미 기계학습이 있다

어디	무엇을 하고 있나
`/immune` 14강 · `/spatial` 9강	군집 — 정답 없이 세포를 무리로 나눈다
논문의 UMAP 그림	차원 축소 — 수천 개 축을 둘로
`/til`	슬라이드 조각마다 림프구가 있나 없나를 판정한다
`/antigen`	펩타이드가 MHC 에 붙을지 예측한다
`/viper`·`/diggit`	점수를 만들어 순위를 매긴다

전부 예측이지만, 그 강의들에서는 도구로 쓰고 지나갑니다. 이 20강이 그 도구를 뜯어 봅니다.

고등학생이 강의를 읽는 자세

시작하기 전에 마음가짐을 하나 정해 둡시다.

기계학습에서 가장 흔한 사고는 점수가 너무 좋은 것이다

직관과 반대입니다

보통 생각	실제
점수가 낮다 → 문제	점수가 낮으면 정직한 것일 수 있다
점수가 높다 → 성공	의심할 신호 ⚠

"AUC 0.99" 를 보면 기뻐하기 전에 의심한다

왜 그런가

현실 문제는 어렵습니다. 사람 전문가도 0.85 쯤인 문제를 기계가 0.99 로 맞혔다면?

가능성	확률
정말 대단한 발견	매우 낮다
어딘가 새고 있다	매우 높다

16강에서 새는 경로를 하나씩 본다

비유 — 너무 좋은 조건

"원금 보장에 연 30%" 라는 투자가 있다면?

좋은 이야기일수록 어디가 이상한지 를 먼저 찾는다

이 강의가 가르치는 것은 모형이 아니라 자기 결과를 의심하는 습관입니다.

🤔 확인 문제

/stat 과 이 강의의 가장 큰 차이는?