Lesson 18 of 20

자르는 자리를 바꿔 가며 — 로그순위 검정

절대 10 · 전체 상위 20% · 암종 안 상위 20% 세 가지 비교

곡선이 벌어져 보인다고 벌어진 것은 아닙니다. 숫자 하나로 확인합니다 — 로그순위 검정.

원리는 이렇습니다. 죽음이 일어난 시점마다 두 무리 크기 비율대로 나눴다면 몇 명이 죽었어야 하나를 계산하고, 실제 죽은 수와 견줍니다. 시점마다의 어긋남을 모으면 z 값이 되고, z 가 0 에서 멀수록 두 곡선이 다른 것입니다.

High school자르는 자리를 바꿔 가며

16강에서 본 것처럼 자르는 방법이 최소한 셋 이다. 셋 다 해 본다.

방식	내용
절대 10	FDA 기준
전체 상위 20%	코호트 안 순위
암종 안 상위 20%	암종별 순위

세 방식이 같은 결론을 주면 튼튼하고, 다르면 방식이 결과를 만든 것이다

z −7.42, p 는 1조분의 1보다 작습니다. 우연으로 보기 어려운 차이입니다.

Python Runs in your browser

import tmb

k = tmb.msk()
m = k["os_months"]
e = (k["os"] == "1:DECEASED").astype(int)
hi = k["tmb"] >= k["tmb"].quantile(.80)

z, p = tmb.logrank(m[hi], e[hi], m[~hi], e[~hi])
print("z =", round(z, 3))
print("p =", f"{p:.2e}")
print()
print("z 가 음수 = 첫 무리(높은 TMB)가 예상보다 덜 죽었다 = 오래 살았다")

High school로그순위 검정의 원리

z = (관찰 − 기대) / √분산

단계	하는 일
1	사건 시점마다 "두 군이 같다면" 기대 사망 수 계산
2	실제 사망 수와 견줌
3	모든 시점의 차이를 합침
4	분산으로 나눠 z 를 만듦

기대값을 어떻게 계산하나

그 시점의 위험집단이 A군 60, B군 40 이고 2명이 죽었다면, 사람 수에 비례해서 A군 1.2명, B군 0.8명이 기대된다.

"차이가 없다면 어떻게 될까" 를 구체적 숫자로 만드는 것이 검정의 핵심이다

자르는 법을 바꿔 본다

16강에서 본 것처럼, 자르는 방법이 최소한 셋입니다. 셋 다 해 봅니다.

셋 다 유의합니다. 다만 암종 안에서 자르면 z 가 −7.4 에서 −4.7 로 약해집니다.

Python Runs in your browser

import tmb

k = tmb.msk()
m = k["os_months"]
e = (k["os"] == "1:DECEASED").astype(int)

def report(name, mask, keep=None):
    mm, ee = (m, e) if keep is None else (m[keep], e[keep])
    hh = mask if keep is None else mask[keep]
    z, p = tmb.logrank(mm[hh], ee[hh], mm[~hh], ee[~hh])
    print(f"{name:<22} 높은 무리 {int(hh.sum()):>4}명 · "
          f"중앙 {tmb.km_median(mm[hh], ee[hh])} 대 {tmb.km_median(mm[~hh], ee[~hh])} 개월 · "
          f"z {z:>6.2f} · p {p:.1e}")

report("절대 문턱 10", k["tmb"] >= 10)
report("전체 상위 20%", k["tmb"] >= k["tmb"].quantile(.80))

cut = k.groupby("cancer_type")["tmb"].transform(lambda s: s.quantile(.80))
big = k.groupby("cancer_type")["tmb"].transform("size") >= 30
report("암종 안 상위 20%", (k["tmb"] >= cut), keep=big)

세 번째가 약해진 것은 뜻이 있습니다. 암종 안에서 자르면 암종 자체의 효과가 걷힙니다. 남은 신호는 '같은 암 안에서 TMB 가 높으면 더 오래 산다' 는 것입니다. 앞의 두 방식에는 여기에 'TMB 가 높은 암종이 원래 예후가 좋다' 는 성분이 섞여 있습니다.

High school세 방식의 결과 비교

패턴	해석
셋 다 유의 · 같은 방향	튼튼한 결과
암종 안에서만 유의	암종 통제가 필요했음
전체에서만 유의	암종 차이가 만든 것

세 번째가 가장 나쁜 경우다

암종을 합쳐서 보면 유의한데 암종 안에서는 안 유의하다면, 그것은 암종 간 차이 를 본 것이다.

TIL 강의 17강의 심슨의 역설과 같다.

교란을 통제한 뒤에도 남는 것만이 그 변수의 효과다

문턱을 3 에서 50 까지 밀어도 전부 유의합니다. 결론이 자르는 자리에 매달려 있지 않다는 뜻입니다.

Python Runs in your browser

import tmb

k = tmb.msk()
m = k["os_months"]
e = (k["os"] == "1:DECEASED").astype(int)

print(f"{'문턱':>6} {'높은 무리':>9} {'z':>8} {'p':>11}")
for c in [3, 5, 8, 10, 13.8, 20, 30, 50]:
    hi = k["tmb"] >= c
    z, p = tmb.logrank(m[hi], e[hi], m[~hi], e[~hi])
    print(f"{c:>6} {int(hi.sum()):>9} {z:>8.2f} {p:>11.1e}")

관계가 전혀 없는데도, 문턱을 아홉 번 시험해 가장 좋은 것만 고르면 다섯 번에 한 번꼴로 '유의' 가 나옵니다.

Python Runs in your browser

import numpy as np
from math import erfc, sqrt

# 아무 관계도 없는 두 값에서 문턱을 아홉 군데 시험하면 무슨 일이 생기나
rng = np.random.default_rng(7)
N, REP = 200, 600
one = best = 0
for _ in range(REP):
    x = rng.normal(size=N)                  # 표지 (관계 없음)
    y = rng.normal(size=N)                  # 결과
    ps = []
    for q in range(30, 75, 5):              # 문턱 아홉 군데
        hi = x >= np.percentile(x, q)
        a, b = y[hi], y[~hi]
        t = (a.mean() - b.mean()) / sqrt(a.var(ddof=1) / len(a) + b.var(ddof=1) / len(b))
        ps.append(erfc(abs(t) / sqrt(2)))
    one  += ps[4] < .05                     # 가운데 한 자리만 시험했다면
    best += min(ps) < .05                   # 아홉 자리 중 가장 좋은 것만 보고했다면
print("문턱 한 자리만 시험 — p < 0.05 가 나온 비율", round(100 * one / REP, 1), "%")
print("아홉 자리 중 최선만 보고 — p < 0.05 가 나온 비율", round(100 * best / REP, 1), "%")

High school왜 세 가지를 다 보여 주나

하나만 보고하면	셋 다 보고하면
가장 좋은 것을 고른 것처럼 보임	선택의 영향을 알 수 있음
재현이 어려움	재현 가능
독자가 판단 못 함	독자가 판단

15강 TIL 의 cutoff hacking 을 피하는 방법

여러 문턱을 시도해 보고 좋은 것을 고르는 것이 문제였다.

그런데 미리 정한 세 가지 를 전부 보고하면 그것은 문제가 아니다.

차이는 '고르기' 다

여러 개를 해 보는 것 자체는 문제가 없다. 좋은 것만 골라 보고하는 것이 문제다.

여러 분석을 하는 것은 괜찮다 — 결과를 골라 보고하는 것이 문제다

🤔 Check yourself

로그순위 검정의 z 가 음수라는 것은 무엇을 뜻하나?

🤔 Check yourself

문턱을 3 에서 50 까지 밀어도 p 가 계속 작았다. 이 사실이 뒷받침하는 것은?