17강 / 20강

전부 한 솥에 넣으면 — 심슨의 역설

부호가 뒤집힌다

암종마다 따로 검정하는 것은 번거롭습니다. 유의한 것도 몇 개 없고요. 환자 4,691명을 한꺼번에 놓고 검정하면 훨씬 강력하지 않을까요?

해 봅시다.

고등학생부호가 뒤집힌다

14강에서 암종별로 봤을 때 z 가 대부분 음수 였다. 그런데 전부 합쳐서 보면?

분석	z 의 부호
암종별	대부분 음수
전부 합침	양수

같은 자료인데 결론이 반대 다.

부분에서 모두 한 방향인데 전체에서 반대 방향이 나올 수 있다

z = +3.75, p = 0.00018. 강한 결과입니다. 그런데 14강과 방향이 반대예요.

Python 브라우저에서 실행

import til

p = til.patients().dropna(subset=["OS", "OS_time"])
r = til.surv_test(p)          # 암종 구분 없이, 전체 중앙값에서 자르기

print(f"환자 {len(p):,}명을 한꺼번에")
print(f"  자른 자리   침윤률 {p.til_pct.median():.2f}%")
print(f"  높은 쪽 {r['n_hi']:,}명 · 낮은 쪽 {r['n_lo']:,}명")
print(f"  z = {r['z']:.2f}   p = {r['p']:.2e}")
print()
print("z 가 양수입니다 — 침윤이 많은 쪽이 더 빨리 죽는다는 뜻입니다.")

14강에서 암종별로 봤을 때는 z 가 대부분 음수 였습니다. 침윤이 많으면 오래 산다는 쪽이었죠. 그런데 전부 섞으니 양수 가 나왔습니다.

둘 다 계산은 맞습니다. 어느 쪽을 믿어야 할까요?

고등학생왜 이런 일이 생기나

암종마다 두 가지가 함께 다르기 때문이다.

암종	침윤률	예후
A	높음	나쁨
B	낮음	좋음

합치면 무슨 일이

"침윤률이 높은 환자" 는 대부분 암종 A 다. 그리고 암종 A 는 예후가 나쁘다.

그러면 "침윤률이 높으면 예후가 나쁘다" 는 관계가 나온다 — 암종 안에서는 반대인데.

집단마다 기준선이 다르면 합치는 순간 그 차이가 결과를 지배한다

섞으면 +3.75, 암종 안에서 보면 −3.97. 교과서적인 심슨의 역설입니다.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients().dropna(subset=["OS", "OS_time"])

# 암종을 '층' 으로 묶어 놓고, 층 안에서만 견주기 (층화 로그순위)
O = E = V = 0.0
for t, g in p.groupby("tumor"):
    if len(g) < 30:
        continue
    hi, lo = til.split(g)
    time = np.concatenate([hi.OS_time.values, lo.OS_time.values])
    ev   = np.concatenate([hi.OS.values, lo.OS.values])
    군   = np.concatenate([np.ones(len(hi)), np.zeros(len(lo))])
    for ti in np.sort(np.unique(time[ev == 1])):
        n, n1 = (time >= ti).sum(), ((time >= ti) & (군 == 1)).sum()
        d, d1 = ((time == ti) & (ev == 1)).sum(), ((time == ti) & (ev == 1) & (군 == 1)).sum()
        if n < 2:
            continue
        O += d1; E += d * n1 / n
        V += d * (n1/n) * (1 - n1/n) * (n - d) / (n - 1)

from scipy import stats
z = (O - E) / np.sqrt(V)
print(f"층화 로그순위  z = {z:.2f}   p = {2*stats.norm.sf(abs(z)):.2e}")
print()
print("같은 환자들입니다. 암종 안에서만 견주었더니 부호가 뒤집혔습니다.")

고등학생심슨의 역설의 고전 사례

버클리 대학원 입학 사례가 유명하다.

분석	결과
전체	여성 합격률이 낮음
학과별	대부분의 학과에서 여성이 높음

왜 그런가

여성이 경쟁률이 높은 학과 에 더 많이 지원했다. 그 학과들은 남녀 모두 합격률이 낮다.

즉 차별이 합격 심사 가 아니라 지원 분포 에 있었던 것이다.

역설은 오류가 아니라 숨은 변수가 드러나는 방식이다

까닭은 위젯의 산점도에 있습니다. 암종을 점 하나씩 찍고, x축에 그 암종의 침윤률 중앙값, y축에 5년 생존율을 놓으면 —

유방암·전립선암 — 침윤률이 낮고(1.3%, 1.5%) 예후가 아주 좋습니다(5년 생존 80% 이상).
위암·직장암·자궁경부암 — 침윤률이 높고(9~12%) 예후가 그만큼 좋지 않습니다.

그러니 전부 섞어 놓고 "침윤률이 높은 쪽" 을 모으면 그 무리에는 본래 예후가 나쁜 암종의 환자가 잔뜩 들어옵니다. 우리가 잰 것은 침윤률의 효과가 아니라 암종의 예후 차이였던 거예요.

섞으면 z = +3.75 · 나누면 z = −3.97

암종 수준의 관계가 환자 수준의 결론을 뒤집었습니다 — 생태학적 오류의 사촌입니다.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients().dropna(subset=["OS", "OS_time"])
print(f"{'암종':<6}{'환자':>6}{'침윤 중앙값':>12}{'5년 생존율':>12}")
for t, g in p.groupby("tumor"):
    c = np.array(til.km_curve(g.OS_time.values, g.OS.values))
    s5 = np.interp(1825, c[:, 0], c[:, 1])
    print(f"{t:<6}{len(g):>6}{g.til_pct.median():>11.2f}%{100*s5:>11.1f}%")
print()
print("침윤률이 낮은 암종일수록 5년 생존율이 높은 경향이 보입니다.")
print("이 관계가 섞은 검정의 부호를 결정했습니다.")

고등학생어느 쪽이 맞는 답인가

묻는 것	봐야 할 것
이 암종의 환자에게 침윤률이 무슨 뜻인가	암종별
전체 인구에서 침윤률과 예후의 관계	합친 것

임상에서는 첫 번째다

환자는 특정 암종 을 갖고 있다. "당신은 폐암 환자이고, 폐암에서 침윤률이 높으면 예후가 좋습니다" 가 쓸모 있는 말이다.

"전체 암 환자를 합치면 반대입니다" 는 그 환자에게 무의미 하다.

일반 원칙

개인에게 적용할 결론은 개인이 속한 집단에서 봐야 한다. 집단 수준의 관계를 개인에게 적용하면 틀린다.

집단에서 본 관계를 개인에게 적용하면 틀린다 — 생태학적 오류

🤔 확인 문제

섞은 검정과 층화 검정의 부호가 반대일 때 임상적으로 쓸모 있는 쪽은?

🤔 확인 문제

심슨의 역설이 일어난 근본 원인은?