10강 / 22강

p 대신 크기로 말한다 — 9배와 그 구간

부트스트랩 신뢰구간 · 그 구간이 정확히 무엇을 뜻하는가

8강에서 유의성을 말할 수 없다는 것을 확인했습니다. 그러면 무엇으로 말할까요? 크기입니다.

"KD_PD1 에서 림프계가 2.3%에서 21.1%로, 9.3배."

이 문장에는 p 가 없습니다. 그런데도 훨씬 많은 정보를 담고 있죠 — 방향, 크기, 출발점까지. 여기에 불확실성만 더하면 됩니다.

고등학생p 대신 크기로 말한다

8강에서 유의성을 말할 수 없다는 것을 확인했다. 그러면 무엇으로 말하나? 효과 크기 다.

지표	말하는 것
p 값	이 차이가 우연일 확률
효과 크기	차이가 얼마나 큰가
신뢰구간	그 크기의 불확실성

사실 효과 크기가 더 중요하다

p 값은 표본 크기에 의존한다(7강). 효과 크기는 그렇지 않다. "얼마나 다른가" 는 표본을 늘려도 안 변한다.

최근 여러 학술지가 p 값보다 효과 크기와 구간을 먼저 보고하도록 요구하는 이유가 이것이다.

"우연인가" 보다 "얼마나 큰가" 가 대개 더 중요한 물음이다

네 칸의 값과 배수. p 는 한 번도 나오지 않습니다.

Python 브라우저에서 실행

import im
import numpy as np

c = im.cells()
GROUPS = {"림프계": c["갈래"].eq("림프계").values,
          "T세포 전체": c["세포유형"].isin(im.TCELL).values,
          "NK세포": c["세포유형"].eq("NK세포").values,
          "호중구 전체": c["세포유형"].str.startswith("호중구").values}

print(f"{'':<12}" + "".join(f"{s:>10}" for s in im.SAMPLES) + f"{'배수':>8}")
print("-" * 60)
for name, m in GROUPS.items():
    v = [m[(c["표본"] == s).values].mean() * 100 for s in im.SAMPLES]
    print(f"{name:<12}" + "".join(f"{x:>9.2f}%" for x in v) +
          f"{v[3]/max(v[0], 1e-9):>8.1f}x")

부트스트랩은 내가 다시 뽑는 대상이 무엇인지에 따라 뜻이 완전히 달라집니다.

Python 브라우저에서 실행

import im
import numpy as np

# 부트스트랩 — 세포를 다시 뽑아 보며 구간을 만든다
c = im.cells()
rng = np.random.default_rng(20260822)
m = c["갈래"].eq("림프계").values

print(f"{'표본':<10}{'관측':>8}{'95% 구간 (세포 재추출)':>26}")
print("-" * 46)
for s in im.SAMPLES:
    v = m[(c["표본"] == s).values]
    boot = [rng.choice(v, size=len(v), replace=True).mean() * 100 for _ in range(2000)]
    lo, hi = np.percentile(boot, [2.5, 97.5])
    print(f"{s:<10}{v.mean()*100:>7.2f}%{f'{lo:.2f} ~ {hi:.2f}':>26}")
print()
print("구간이 아주 좁습니다 — 세포를 3,000개나 뽑았으니까요.")

고등학생부트스트랩이라는 방법

9배라는 값에 구간 을 붙이고 싶다. 그런데 이론적 공식을 쓰기 어렵다. 그럴 때 쓰는 것이 부트스트랩이다.

원리

단계	하는 일
1	가진 자료에서 복원추출로 같은 크기의 표본을 다시 뽑음
2	그 표본에서 통계량(배수)을 계산
3	1~2를 수천 번 반복
4	얻은 값들의 2.5%~97.5% 구간을 봄

왜 이것이 되나

"내가 가진 표본이 모집단을 닮았다면, 이 표본에서 다시 뽑는 것 이 모집단에서 다시 뽑는 것과 비슷할 것" 이라는 발상이다.

자기 발끈을 잡아당겨 몸을 들어올린다는 뜻의 이름이다. 불가능해 보이는데 실제로 잘 작동한다.

모집단을 모를 때, 가진 표본을 모집단 대신 쓴다

모르는 값을 가정해 보는 것도 정직한 방법입니다. 가정을 적어 두기만 하면요.

Python 브라우저에서 실행

import im
import numpy as np

# 개체 변동을 넣으면 구간이 어떻게 벌어지나 — 가정을 세워 본다
obs = 21.08
print("개체 사이 표준편차를 가정하고 구간을 다시 그려 보면")
print()
print(f"{'가정한 개체 SD':>14}{'95% 구간':>24}{'폭':>10}")
print("-" * 50)
for sd in [0, 2, 4, 6, 8]:
    lo, hi = obs - 1.96 * sd, obs + 1.96 * sd
    print(f"{sd:>13}%{f'{max(0,lo):.1f} ~ {hi:.1f}':>24}{2*1.96*sd:>9.1f}")
print()
print("개체 SD 를 4%p 만 잡아도 구간이 13~29% 로 벌어집니다.")
print("그 값을 이 자료로는 추정할 수 없습니다 — 생쥐가 한 마리니까요.")

고등학생그 구간이 정확히 무엇을 뜻하는가

여기가 중요하다. 무엇을 다시 뽑았느냐 에 따라 구간의 뜻이 완전히 달라진다.

다시 뽑은 것	구간이 반영하는 불확실성
세포	이 생쥐에서 세포를 다시 뽑았을 때의 변동
표본(생쥐)	다른 생쥐를 썼을 때의 변동

우리가 알고 싶은 것은 아래쪽이다

"다른 생쥐로 실험해도 9배가 나올까?" 가 진짜 물음이다. 그런데 생쥐가 하나뿐 이니 그 변동을 잴 방법이 없다.

세포를 부트스트랩해서 얻은 구간은 "이 생쥐 안에서 세포를 다시 뽑았을 때" 의 구간이다. 좁게 나온다. 그런데 그것은 우리가 알고 싶은 것이 아니다.

좁은 신뢰구간이 확신을 뜻하지 않는다 — 무엇의 구간인지 확인해야 한다

🎮 효과 크기 실험실

세포유형을 골라 네 칸의 값과 두 종류의 구간을 견줘 보세요.

고등학생그래도 이 구간이 쓸모 있는 이유

쓸모	내용
기술적 잡음의 하한을 앎	적어도 이만큼은 흔들린다
세포 수가 충분한지 확인	구간이 아주 넓으면 세포가 부족
비교의 우선순위	구간이 겹치지 않는 것부터 후속 확인

그리고 반드시 함께 적어야 할 것

"이 구간은 세포 수준의 표집 변동만 반영하며, 개체 간 변동은 포함하지 않는다."

이 한 문장이 있으면 독자가 정확히 무엇을 본 것인지 안다. 없으면 개체 간 구간으로 오독한다.

통계량 옆에 그것이 무엇의 불확실성인지를 적는다

🤔 확인 문제

세포를 재추출한 부트스트랩 구간이 좁게 나오는 이유는?

🤔 확인 문제

좁은 신뢰구간이 오히려 위험할 수 있는 이유는?

🤔 확인 문제

p값 대신 효과 크기로 보고하는 것의 장점은?