20강 / 20강

정리 — 맞힌다는 것과 안다는 것

이 20강이 어느 강의로 이어지는가

스무 강을 한 문장으로 줄이면 이렇습니다.

기계학습은 맞힌다. 왜 그런지는 말하지 않는다

그리고 '맞힌다' 조차 따로 떼어 둔 자료에서 확인했을 때만 할 수 있는 말입니다.

고등학생맞힌다는 것과 안다는 것

마지막 강의 제목이 이 강의 전체를 요약합니다.

일	필요한 것	이 강의
맞힌다	새 자료에서 통하면 된다	대부분
안다	왜 그런지 · 인과	18강에서 한계를 봤다

기계학습은 맞히는 일에 강하고 아는 일에는 약하다

둘이 필요한 상황이 다릅니다

상황	필요
어떤 환자를 먼저 볼까	맞히기면 충분 ✔
스팸 걸러내기	맞히기 ✔
이 약을 쓰면 나을까	인과가 필요 ⚠
이 정책을 바꾸면	인과 ⚠

"개입" 을 할 거면 예측만으로는 부족하다

왜 그런가

예측 모형은 지금 세상의 패턴을 배웁니다. 개입하면 세상이 바뀌므로 패턴도 바뀌어요.

관찰	개입 후
"소방차가 많으면 피해가 크다"	소방차를 줄이면 피해가 줄까? 아니다

상관을 인과로 착각하고 개입하면 정반대 결과가 난다

비유 — 우산과 비

우산 판매량으로 강수량을 잘 예측합니다.

쓰임	되나
예측	된다 ✔
우산을 없애 가뭄을 막기	안 된다 ⚠

잘 맞히는 것과 손잡이가 되는 것은 다르다

속는 길 다섯 — 한 표로

함정	무슨 일	알아채는 법
과적합 (5강)	훈련자료를 외웠다	훈련 점수와 시험 점수가 벌어진다
정보 누출 (16강)	시험 정보가 훈련에 들었다	점수가 너무 좋다 · 이름표를 섞어도 안 내려간다
불균형 (17강)	드문 쪽을 통째로 버렸다	정확도만 높고 재현율이 0
문턱 미지정 (9강)	확률을 예·아니오로 바꾸는 자리를 안 정했다	AUC 만 적혀 있다
인과로 읽기 (18강)	중요도를 기전으로 읽었다	중요한 특징이 결과의 결과다

고등학생이 20강이 남기는 것

배운 것을 도구와 습관으로 나눠 봅시다.

도구

영역	배운 것	강
준비	특징 · 나누기	3·4
채점	혼동행렬 · ROC · 문턱 · 보정	7~10
모형	선형 · 나무 · 이웃 · 축소 · 군집	11~15
의심	누출 · 불균형 · 해석	16~18

그런데 진짜 남는 것은 습관입니다

배운 것은 자기 결과를 의심하는 법이다

체크리스트 여섯 줄

시험 자료를 몇 번 봤나 (4강)
전처리를 훈련 안에서만 했나 (6·16강)
이 지표가 이 문제에 맞나 (7·8강)
문턱을 어디서 정했나 (9강)
점수가 너무 좋지 않나 (16강)
기준선보다 나은가 (11·19강)

여섯 줄이면 대부분의 사고가 걸러진다

반복해 나온 하나의 원칙

결정에 쓴 자료로는 그 결정을 평가할 수 없다

어디서 나왔나	모습
4강	시험 자료로 모형을 고르면 안 된다
6강	겹 밖에서 특징을 고르면 안 된다
9강	시험에서 문턱을 정하면 안 된다
10강	훈련 자료로 보정하면 안 된다
15강	군집을 만든 자료로 차이를 검정하면 안 된다
17강	겹 밖에서 합성 표본을 만들면 안 된다

여섯 강에서 같은 원칙이 여섯 가지 얼굴로 나왔다

세 강의가 서로의 빈 칸을 채운다

물음	어느 강의
이 차이가 우연인가	`/stat` 확률과 통계
이 규칙이 새 자료에서도 되나	이 강의
이것이 원인인가	`/epi` 역학과 관찰연구 · `/reg` 임상 2·3상

셋은 서로를 대신하지 못합니다. AUC 0.95 짜리 모형이 인과를 말해 주지 않고, p<0.001 이 새 환자에게서 맞힌다는 뜻이 아니며, 무작위배정 시험이 개인별 예측을 해 주지도 않아요.

같은 자료에 세 물음을 대면 <b>답이 셋 다 다릅니다</b>.

Python 브라우저에서 실행

# 셋을 한 자료에 대 보면
import numpy as np
from scipy import stats
rng = np.random.default_rng(241)

n = 2000
smoke = rng.random(n) < 0.3
# 흡연이 진짜로 병을 일으킨다 + 흡연자는 커피도 많이 마신다
coffee = (rng.random(n) < np.where(smoke, 0.7, 0.3))
disease = rng.random(n) < np.where(smoke, 0.20, 0.05)

def rr(e, y): return y[e].mean()/y[~e].mean()

print("진실: 흡연 -> 병.  커피는 흡연과 얽혀 있을 뿐 원인이 아니다.")
print()
tab = [[int((coffee & disease).sum()), int((coffee & ~disease).sum())],
       [int((~coffee & disease).sum()), int((~coffee & ~disease).sum())]]
chi2, pval = stats.chi2_contingency(tab)[:2]
print(f"[/stat]  커피와 병의 관련이 우연인가?")
print(f"         p = {pval:.2e}  ->  우연이라 보기 어렵다")
print()
acc = ((coffee.astype(int)) == disease.astype(int)).mean()
print(f"[이 강의] 커피로 병을 맞힐 수 있나?")
print(f"         커피만으로 본 위험도비 {rr(coffee, disease):.2f}  ->  어느 정도 맞힌다")
print()
print(f"[/epi]   커피가 원인인가?")
print(f"         흡연자 안에서만 보면 커피의 위험도비 "
      f"{rr(coffee[smoke], disease[smoke]):.2f}")
print(f"         비흡연자 안에서만 보면              "
      f"{rr(coffee[~smoke], disease[~smoke]):.2f}")
print("         -> 층 안에서는 1 에 가깝다. 커피는 원인이 아니다.")
print()
print("세 물음의 답이 다르다. 같은 자료인데.")

고등학생어느 강의로 이어지는가

이 강의 다음에 어디로 갈지 봅시다.

관심	다음 강의
"우연인가" 를 더	`/stat` — 검정 · 다중 비교
신경망	`/dl` — 깊은 모형
자료 다루기	`/python` · `/dm`
생물 자료에 적용	`/bulk` · `/tcga`

어디로 가든 이 20강의 원칙은 그대로 따라간다

특히 딥러닝으로 갈 때

모형이 커져도 규칙은 안 바뀝니다. 오히려 더 엄격해야 해요.

모형이 클수록	결과
과적합	더 쉽다 (5강)
누출의 효과	더 크다 (16강)
해석	더 어렵다 (18강)

복잡한 모형일수록 기본을 더 지켜야 한다

그리고 통계와의 관계

	통계	기계학습
묻는 것	우연인가	새것에도 되나
주의점	다중 비교	정보 누출
공통	결정에 쓴 자료로 평가하지 않는다

겉은 다르지만 같은 위험을 다른 이름으로 부른다

두 강의를 함께 읽으면 그 공통점이 훨씬 뚜렷하게 보일 겁니다.

여기까지 오신 것을 축하합니다 🎉

이제 대학생 눈높이로 한 번 더 읽어 보세요 — 코드와 수식이 훨씬 잘 읽힐 겁니다.

이어서 볼 강의

강의	어떻게 이어지나
`/stat` 확률과 통계	이 강의의 짝 — 우연을 가리는 쪽
`/epi` 역학과 관찰연구	18강이 끝난 자리 — 인과는 따로 논증해야 한다
`/la` 선형대수학	11강의 내적과 14강의 고유벡터가 사는 곳
`/py` 파이썬	numpy 를 손에 익히는 곳
`/immune`·`/spatial`	15강의 군집이 실제로 쓰이는 곳
`/viz` 데이터 시각화	14강의 그림을 제대로 그리는 법

고등학생마지막으로 — 겸손에 대하여

기술적인 이야기 하나를 더 하고 마칩니다.

기계학습에서 가장 값진 결과는 종종 "안 된다" 이다

왜 그런가

결과	가치
"AUC 0.85 로 예측된다"	유용하다
"이 자료로는 예측되지 않는다"	다음 사람을 구한다 ✔

안 되는 것을 안 된다고 말하는 것도 결과다

그런데 잘 보고되지 않습니다

"안 됐다" 는 논문이 안 되고 발표가 안 되니까요.

결과	세상에 알려지나
성공	알려진다
실패	서랍에 남는다 ⚠

그래서 세상은 성공만 본다 — 출판 편향

같은 문제를 100팀이 시도해 1팀만 우연히 성공했다면?

우리는 그 1팀만 보게 된다 — 4강의 다중 비교가 학계 규모로

그래서 이 강의의 마지막 조언

태도	왜
안 된 것도 기록한다	나중의 나를 구한다
시도 횟수를 적는다	정직한 해석을 돕는다
남의 좋은 결과를 의심한다	같은 이유로

1강의 자세로 돌아왔다 — 좋아 보일수록 의심한다

이 습관 하나가 이 강의에서 가져갈 가장 값진 것일 겁니다.

🤔 확인 문제

어떤 모형이 시험자료에서 AUC 0.91 을 냈습니다. 이것이 뜻하는 것은?

🤔 확인 문제

이 20강 전체를 한 문장으로 줄이면?