15강 / 20강

자를 자리를 찾아 헤매기 — p값을 만드는 법

없던 결과가 생겨난다

14강에서 우리는 중앙값에서 잘랐습니다. 왜 하필 중앙값일까요? 그저 관습입니다. 두 무리의 크기가 같아 검정력이 좋다는 이유가 있긴 하지만, "침윤률 5.73% 를 넘으면 다르다" 는 생물학적 근거는 어디에도 없습니다.

그렇다면 다른 자리에서 잘라 보면 어떨까요? 10 백분위수, 20 백분위수, … 90 백분위수. 열일곱 자리에서 시험해 봅시다.

고등학생왜 하필 중앙값인가

14강에서 침윤률의 중앙값 에서 잘라 두 군으로 나눴다. 왜 중앙값인가?

이유	평가
두 군의 크기가 같아짐	검정력에 유리
자료에서 정해짐	임의성이 적음
관행	가장 흔한 이유

그런데 생물학적 근거는 없다

"중앙값 위와 아래" 가 의미 있는 구분 이라는 이유가 없다. 그냥 편의상 나눈 것이다.

가장 흔한 선택이 가장 근거 있는 선택은 아니다

중앙값(50 백분위)에서는 p = 0.365 — 아무 결과도 없습니다. 그런데…

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients()
g = p[p.tumor == "LUAD"].dropna(subset=["OS", "OS_time"])

print(f"폐선암 환자 {len(g)}명")
print()
print(f"{'백분위':>7}{'문턱':>8}{'높은군':>8}{'z':>8}{'p':>10}")
결과 = []
for q in range(10, 95, 5):
    cut = float(np.percentile(g.til_pct, q))
    r = til.surv_test(g, cut)
    if r:
        결과.append((q, cut, r))
        별 = " *" if r["p"] < 0.05 else ""
        print(f"{q:>7}{cut:>8.2f}{r['n_hi']:>8}{r['z']:>8.2f}{r['p']:>10.4f}{별}")

표를 보세요. 중앙값에서는 p = 0.365 입니다. 아무것도 없어요.

그런데 20 백분위수(침윤률 2.03%)에서 자르면 p = 0.0077 입니다. 0.05 를 한참 밑도는, 논문에 쓸 수 있는 값이죠.

열일곱 자리 중 여덟 자리에서 p < 0.05 가 나옵니다. 이 중 하나를 골라 "폐선암에서 TIL 은 예후 인자다 (p = 0.008)" 라고 쓰면? 거짓말은 아닙니다. 계산은 정확해요. 그런데 정직하지 않습니다.

고등학생자를 자리를 찾아 헤매기

더 나은 문턱이 있지 않을까? 여러 문턱을 시도해 보면 어떨까?

그러면 이런 일이 생긴다

시도한 문턱	p 값
20 백분위	0.31
30 백분위	0.18
40 백분위	0.03
50 백분위	0.12
60 백분위	0.44

40 백분위에서 유의하다! 그것을 보고하면 될까?

안 된다 — 다섯 번 시도해서 하나 걸린 것이다

고등학생없던 결과가 생겨난다

이것을 cutoff hacking 또는 최적 문턱 찾기 문제라 한다.

얼마나 심각한가

시도한 문턱 수	우연히 p<0.05 가 나올 확률
1	5%
5	약 23%
20	약 64%
100	거의 확실

아무 관계 없는 자료 에서도 문턱을 충분히 시도하면 유의한 결과가 나온다.

여러 번 물어보면 우연히 맞는 답이 나온다 — 통계의 근본 문제

모든 암종에서 "최선의 자리" 가 중앙값보다 좋습니다 — 당연합니다. 그렇게 골랐으니까요.

Python 브라우저에서 실행

import til
import numpy as np

p = til.patients()
print(f"{'암종':<6}{'중앙값 p':>12}{'최선 p':>12}{'몇 배':>8}{'최선 자리':>10}")
for t, g in p.dropna(subset=["OS", "OS_time"]).groupby("tumor"):
    if len(g) < 80:
        continue
    행 = []
    for q in range(10, 95, 5):
        r = til.surv_test(g, float(np.percentile(g.til_pct, q)))
        if r:
            행.append((q, r["p"]))
    if not 행:
        continue
    중앙 = min(행, key=lambda x: abs(x[0] - 50))[1]
    최선 = min(행, key=lambda x: x[1])
    print(f"{t:<6}{중앙:>12.4f}{최선[1]:>12.4f}{중앙/최선[1]:>8.1f}{최선[0]:>9}%")

그럼 어떻게 해야 할까요? 세 가지 길이 있습니다.

자료를 보기 전에 정한다 — 문턱을 사전등록(pre-registration)하거나, 앞선 연구에서 쓴 값을 그대로 쓴다. 가장 깨끗한 길입니다.
자르지 않는다 — 침윤률을 연속값 그대로 넣는 Cox 회귀를 씁니다. 문턱을 고를 일이 없으니 남용할 자유도 없어요. 검정력도 대개 더 좋습니다.
탐색을 인정하고 보정한다 — 여러 자리를 봤다는 사실을 보고하고, 그 탐색을 반영한 p값을 씁니다. 순열검정(19강)으로 만들 수 있습니다.

가장 나쁜 길은 열일곱 자리를 본 뒤 한 자리만 보고하는 것 입니다. 읽는 사람은 그 사실을 알 방법이 없습니다.

고등학생그럼 어떻게 하나

대응	내용
연속 값으로 분석	가장 좋음 — 문턱이 필요 없음
문턱을 미리 정함	자료를 보기 전에
시도 횟수를 보정	최대 선택 통계량 보정
독립 자료로 검증	찾은 문턱을 다른 코호트에서
순열검정	19강 — 직접 만들어 봄

첫 줄이 가장 곧은 길이다

Cox 회귀 같은 방법은 연속 변수를 그대로 쓴다. 문턱을 정할 필요가 없다.

10강에서 본 대로 이분화는 검정력도 잃는다. 연속으로 쓰면 두 문제가 함께 해결된다.

이분화를 안 하면 문턱 문제도 검정력 문제도 사라진다

🤔 확인 문제

중앙값에서 p = 0.365, 20 백분위수에서 p = 0.008 이 나왔습니다. 정직한 보고는?

🤔 확인 문제

연속값을 자르지 않고 Cox 회귀를 쓰면 좋은 점이 아닌 것은?