18강 / 20강

왜 그렇게 예측했나 — 중요도라는 말의 함정

맞히는 것과 설명하는 것은 다른 일이다

모형이 잘 맞힙니다. 그러면 왜 맞히는지도 알 수 있을까요?

여기서 이 강의가 /epi 와 만납니다 — 예측이 잘 된다는 것은 인과와 아무 상관이 없습니다.

잘 맞히는 특징 ≠ 원인

병원 이름으로 사망을 잘 예측할 수 있습니다. 중증 환자를 받는 병원이 있으니까요. 그렇다고 병원이 사망의 원인은 아닙니다 — /epi 18강의 교란입니다.

고등학생맞히는 것과 설명하는 것은 다른 일이다

부제가 이 강의 핵심입니다.

목표	필요한 것
예측	새 자료에서 맞히면 된다
설명	왜 그런지 — 훨씬 어렵다

잘 맞히는 모형이 올바른 이유로 맞히는 것은 아니다

유명한 예

늑대와 허스키를 구별하는 모형이 정확도 90% 였습니다. 무엇을 보고 있었을까요?

기대	실제
귀 · 눈 · 털	배경의 눈(snow) ⚠

늑대 사진에 눈이 있었을 뿐이다 — 동물을 안 본다

이런 모형의 문제

상황	결과
같은 분포의 자료	잘 맞힌다
여름 사진	완전히 실패 ⚠

"지름길" 을 배운 모형은 조건이 바뀌면 무너진다

비유 — 시험 요령

전략	같은 시험	다른 시험
내용 이해	맞는다	맞는다 ✔
"가장 긴 보기가 답"	꽤 맞는다	틀린다

점수만 봐서는 둘을 구별할 수 없다 — 그래서 해석이 필요하다

A 만 원인인데 B 도 중요해 보입니다. <b>예측과 원인은 다릅니다.</b>

Python 브라우저에서 실행

# 상관된 특징 둘 - 중요도는 어느 쪽으로 갈까
import numpy as np
rng = np.random.default_rng(221)

n = 3000
A = rng.normal(0, 1, n)
B = A * 0.95 + rng.normal(0, 0.31, n)     # A 와 거의 같은 특징
C = rng.normal(0, 1, n)                    # 무관한 특징
y = 2.0*A + 0.0*B + 0.0*C + rng.normal(0, 1, n)   # 진실: A 만 원인

X = np.column_stack([A, B, C])
names = ["A (진짜 원인)", "B (A 와 상관 0.95)", "C (무관)"]

Aug = np.column_stack([np.ones(n), X])
w = np.linalg.lstsq(Aug, y, rcond=None)[0]
print("회귀 계수")
for nm, c in zip(names, w[1:]):
    print(f"   {nm:20} {c:+.3f}")
print()

# 순열 중요도 - 그 열을 섞었을 때 성능이 얼마나 떨어지나
base = np.mean((Aug @ w - y)**2)
print("순열 중요도 (섞었을 때 오차 증가)")
for j, nm in enumerate(names):
    Xp = X.copy()
    Xp[:, j] = rng.permutation(Xp[:, j])
    err = np.mean((np.column_stack([np.ones(n), Xp]) @ w - y)**2)
    print(f"   {nm:20} {err - base:+.3f}")
print()
print("A 만 원인인데 B 에도 중요도가 붙는다 - 거의 같은 정보를 갖고 있으니까.")
print("그리고 A 를 빼고 B 만으로 모형을 만들어도 예측은 거의 그대로다:")
w2 = np.linalg.lstsq(np.column_stack([np.ones(n), B]), y, rcond=None)[0]
r2 = 1 - np.mean((np.column_stack([np.ones(n), B]) @ w2 - y)**2)/np.var(y)
print(f"   B 만 쓴 모형의 R² = {r2:.3f}")
print()
print("예측에는 아무 문제가 없다. 그런데 'B 가 원인' 이라고 하면 틀린다.")

고등학생'중요도' 라는 말의 함정

모형이 주는 중요도 숫자를 어떻게 읽을까요?

중요도는 인과가 아니다 — 그 모형이 얼마나 썼나 일 뿐

세 가지 다른 것

말	뜻
모형이 썼다	중요도가 알려 주는 것
예측에 유용하다	대체로 겹친다
원인이다	전혀 다른 주장 ⚠

셋을 섞어 말하는 것이 가장 흔한 오류다

상관된 특징의 문제

A 와 B 가 거의 같은 정보를 담고 있다면?

모형	결과
나무 · 숲	둘이 중요도를 나눠 갖는다 — 둘 다 낮아 보인다
L1 규제	하나만 남기고 다른 하나는 0

중요도가 0 이라고 무관하다는 뜻이 아니다

두 유전자가 같은 경로에 있으면 한쪽만 선택되고 다른 쪽은 사라집니다. 그런데 생물학적으로는 둘 다 중요하죠.

불순도 기반 중요도의 편향

특징	중요도
값 종류가 많은 것 (연속형)	높게 나온다 ⚠
이진 특징	낮게 나온다

쪼갤 기회가 많아서 구조적으로 유리하다 — 진짜 중요해서가 아니다

그래서 순열 중요도를 씁니다. 특징을 섞었을 때 성능이 얼마나 떨어지는지 보는 방식이에요.

"없으면 얼마나 나빠지나" 가 더 정직한 물음이다

중요도를 읽는 법

방식	무엇을 재나	함정
회귀 계수	다른 변수를 고정했을 때의 기울기	눈금에 따라 달라진다. 표준화 필수
나무의 분할 중요도	그 특징으로 얼마나 잘 갈렸나	값의 종류가 많은 특징에 유리하게 치우친다
순열 중요도	그 열을 섞으면 성능이 얼마나 떨어지나	상관된 특징끼리 서로 가려 준다 — 둘 다 낮게 나올 수 있다
SHAP 류	각 예측에 대한 기여를 나눠 준다	계산이 무겁다. 여전히 인과가 아니다

고등학생물음을 먼저 정한다

note 의 이 조언이 해석의 출발점입니다.

"무엇이 중요한가" 는 물음이 아니다 — 너무 모호하다

가능한 물음들

물음	도구
이 모형은 무엇에 기대나	순열 중요도
이 환자는 왜 이렇게 예측됐나	SHAP · LIME
이 특징이 커지면 예측이 어떻게 변하나	부분 의존 그림
이 특징을 바꾸면 결과가 바뀌나	실험이 필요하다 ⚠

마지막은 모형으로 답할 수 없다 — 개입 실험이 필요하다

전역과 국소

범위	답하는 것
전역	모형 전체가 무엇에 기대나
국소	이 한 예측이 왜 그런가

환자에게 설명할 때 필요한 것은 국소다

비유 — 성적 분석

물음	답
전역 — "우리 반은 뭘 어려워하나"	단원별 평균
국소 — "왜 이 학생은 떨어졌나"	그 학생의 답안

평균으로는 개인을 설명 못 한다 — 물음이 다르면 도구가 다르다

그리고 정직해야 할 것

SHAP 값도 "이 모형이 이렇게 계산했다" 일 뿐입니다. 모형이 틀린 이유로 맞히고 있으면 SHAP 은 그 틀린 이유를 예쁘게 보여 줍니다.

해석 도구는 모형을 설명하지 세상을 설명하지 않는다

고등학생예측이 잘 될수록 의심스러운 특징이 있다

note 의 이 경고가 16강과 18강을 잇습니다.

중요도 1위 특징이 이상하게 강하면 — 누출을 의심한다

확인 절차

단계	물음
1	이 특징은 언제 측정되나
2	예측 시점에 정말 알 수 있나
3	결과 때문에 생긴 값은 아닌가
4	이걸 빼면 성능이 얼마나 떨어지나

4번에서 0.95 → 0.60 이 되면 거의 확실하다

실제 사례들

과제	1위 특징	정체
폐렴 X선 판독	영상의 표시 문자	중환자실 장비의 마크
암 예측	병원 ID	암 전문 병원이 섞였다
재입원 예측	퇴원 코드	결과를 반영한 코드

전부 학술지에 실린 뒤 발견된 사례다

그래서 해석이 필요한 진짜 이유

해석은 모형을 자랑하려고 하는 게 아닙니다.

해석은 속고 있지 않은지 확인하는 도구다

태도	결과
"이 특징이 중요하다니 흥미롭다"	—
"왜 이게 중요하지? 이상한데"	누출을 찾는다 ✔

놀랐을 때 기뻐하지 말고 의심한다 — 1강의 자세다

🤔 확인 문제

사망 예측 모형에서 '중환자실 입실' 이 가장 중요한 특징으로 나왔습니다. 옳은 해석은?

해설 예측 성능은 진짜입니다. 다만 그것은 중환자실이 중증도의 표지이기 때문이에요. /epi 13강의 중간변수·역인과와 같은 구조입니다.