11강 / 20강

어떤 검정을 쓸 것인가 — 자료가 정한다

묻는 것 · 재는 방식 · 짝이 있나, 이 셋이면 거의 정해진다

검정 이름이 수십 개입니다. 외울 필요는 없어요. 세 가지만 물으면 거의 정해집니다.

❓

무엇을 묻나

두 무리가 다른가 · 관계가 있나 · 비율이 다른가

📏

무엇을 쟀나

수인가 · 순위인가 · 예·아니오인가

🔗

짝이 있나

같은 사람의 전·후인가 · 서로 다른 사람인가

고등학생검정 이름을 외울 필요가 없습니다

통계 교과서를 펴면 검정 이름이 수십 개 나옵니다. t 검정, 카이제곱, 만-휘트니, 크루스칼-왈리스… 겁이 나죠. 그런데 —

세 가지만 물으면 거의 정해진다

물음	선택지
무엇을 묻나	두 무리가 다른가 · 관계가 있나 · 비율이 다른가
무엇을 쟀나	수인가 · 순위인가 · 예/아니오인가
짝이 있나	같은 사람의 전·후인가 · 서로 다른 사람인가

비유 — 식당에서 메뉴 고르기

메뉴판에 100가지가 있어도 실제로는 몇 가지만 묻죠.

한식인가 양식인가
면인가 밥인가
매운 걸 먹을 수 있나

세 가지 답하면 후보가 두세 개로 줄어듭니다. 검정 고르기가 딱 그렇습니다.

외우는 것이 아니라 따라가는 것이다

'짝이 있나' 가 왜 중요한가

같은 생쥐의 투여 전·후를 재면, 개체마다의 차이가 상쇄됩니다. 그러면 훨씬 민감해져요 — 10강의 '잡음 줄이기' 가 이겁니다.

	짝이 없을 때	짝이 있을 때
봐야 하는 것	두 무리의 평균	각 개체의 변화량
검정	t 검정	짝 t 검정

짝이 있는데 짝을 무시하면 검정력을 크게 잃습니다. 있는 정보를 버리는 셈이니까요.

실전에서 쓰는 것은 여덟쯤

묻는 것	자료	검정	이 사이트에서
두 무리의 가운데가 다른가	수 · 대칭	t 검정	`/py` 15강 · `/reg` 6강
두 무리의 가운데가 다른가	수 · 치우침	윌콕슨 순위합	`/bulk`·`/mirna`
같은 사람의 전후가 다른가	짝지어진 수	짝 t 검정	`/invivo`
셋 이상의 무리가 다른가	수	분산분석 → 사후검정	`/reg` 3강의 용량군
비율이 다른가	예·아니오	카이제곱 · 피셔 정확검정	`/tmb`
관계가 있나	수 두 개	상관 (피어슨 · 스피어만)	`/viz`·`/bio`
생존이 다른가	시간 + 중도절단	로그순위	`/til`·`/tmb`·`/invivo`
가정을 못 믿겠다	무엇이든	순열검정 (12강)	`/til` 18강

고등학생실전에서 쓰는 것은 여덟쯤

본문의 표가 실전 목록입니다. 이것만 알면 대부분 됩니다.

묻는 것	자료	검정
두 무리의 가운데가 다른가	수 · 대칭	t 검정
두 무리의 가운데가 다른가	수 · 치우침	윌콕슨 순위합
같은 사람의 전후가 다른가	짝지어진 수	짝 t 검정
셋 이상의 무리가 다른가	수	분산분석 → 사후검정
비율이 다른가	예/아니오	카이제곱 · 피셔
관계가 있나	수 두 개	상관 (피어슨 · 스피어만)
생존이 다른가	시간 + 중도절단	로그순위 (16강)
가정을 못 믿겠다	무엇이든	순열검정 (12강)

마지막 줄이 만능 열쇠다

피어슨과 스피어만의 차이

상관에 두 가지가 있습니다. 고등학교에서는 피어슨만 배우죠.

	피어슨	스피어만
재는 것	직선 관계	순서 관계
값을 쓰나	값 그대로	등수로 바꿔서
휘어진 관계	놓친다	잡는다 (계속 오르기만 하면)
극단값에	휘둘린다	안 휘둘린다

"관계가 있다" 는 직선 관계만이 아니다

사후검정이란

셋 이상을 비교할 때 분산분석은 "어딘가 다르다" 까지만 말합니다.

"어디가 다른가" 를 알려면 사후검정이 필요해요. 그리고 이때 여러 번 비교하게 되므로 보정이 필요합니다(14강).

세 군을 두 개씩 비교하면 세 번이죠 — A·B, A·C, B·C. 그러면 1종 오류가 5%가 아니라 14% 로 올라갑니다.

고등학생모수와 비모수 — 가정을 걸고 얻는 것

note 가 두 갈래를 나눕니다.

	모수 검정	비모수 검정
예	t 검정 · 분산분석	윌콕슨 · 순열
가정	분포의 모양을 가정한다	안 묻는다
얻는 것	가정이 맞으면 검정력이 높다	안전하다
잃는 것	가정이 틀리면 틀린다	조금 둔하다

가정을 거는 것은 거래다 — 맞으면 이득, 틀리면 손해

비유 — 지름길

"이 길이 뚫려 있을 것" 이라고 가정하고 지름길로 갑니다.

맞으면 → 빨리 도착한다
틀리면 → 막혀서 돌아와야 한다

큰길로만 가면 느리지만 확실하죠. 그게 비모수입니다.

그럼 언제 무엇을 쓰나

상황	고를 것
n 이 크고 자료가 종 모양에 가깝다	모수 (t 검정)
n 이 작다 (3~10)	비모수 또는 순열
극단값이 있다	비모수
모르겠다	순열검정 — 가정이 거의 없다

비모수가 '조금 둔하다' 는 얼마나

가정이 정확히 맞을 때 윌콕슨은 t 검정의 약 95% 효율입니다. 별로 안 손해예요.

그런데 가정이 틀리면 t 검정이 훨씬 나빠집니다. 그래서 의심스러우면 비모수 가 합리적입니다.

'무조건 t' 도 '무조건 비모수' 도 아닙니다. <b>자료 모양</b>이 정합니다.

Python 브라우저에서 실행

# 자료가 치우쳐 있으면 어느 검정이 나은가
import numpy as np
from scipy import stats
rng = np.random.default_rng(61)

REP = 800
print("진실: 두 무리가 정말로 다르다. 어느 검정이 더 잘 찾아내나")
print()
print("  자료 모양        n     t 검정 검정력   윌콕슨 검정력")
for name, draw_a, draw_b in [
    ("좌우 대칭", lambda n: rng.normal(0.6, 1, n),          lambda n: rng.normal(0, 1, n)),
    ("꼬리가 긺", lambda n: rng.lognormal(0.5, 1, n),       lambda n: rng.lognormal(0.0, 1, n)),
]:
    for n in [15, 60]:
        t_hit = w_hit = 0
        for _ in range(REP):
            a, b = draw_a(n), draw_b(n)
            if stats.ttest_ind(a, b).pvalue < 0.05: t_hit += 1
            if stats.mannwhitneyu(a, b).pvalue < 0.05: w_hit += 1
        print(f"  {name:10s} {n:5d}      {t_hit/REP:8.3f}      {w_hit/REP:8.3f}")
print()
print("대칭이면 t 가 조금 낫다 - 가정이 맞으니 그 대가를 받는다.")
print("꼬리가 길면 윌콕슨이 낫다 - 순위만 보므로 이상값에 안 흔들린다.")

고등학생자료를 보고 검정을 고르면 안 됩니다

이 note 가 연구 윤리에 가까운 이야기를 합니다.

t 로 해 보고 p=0.07 → 윌콕슨으로 바꿔 p=0.04 를 얻기

이것을 p 해킹이라고 합니다.

왜 문제인가

검정을 여럿 시도해 마음에 드는 것을 고르면, 실제 거짓양성률이 0.05 를 훌쩍 넘습니다.

시도한 검정 수	실제 거짓양성률
1개	5%
3개	약 14%
5개	약 23%

14강의 다중검정 문제가 몰래 일어나는 것이다

비유 — 마음에 드는 답이 나올 때까지

시험 답이 헷갈려서 친구 다섯 명에게 물었습니다. 그리고 내 답과 같은 친구의 말을 따랐어요.

확인한 것 같지만 아무것도 확인 안 한 겁니다. 처음부터 답이 정해져 있었으니까요.

정규성 검정도 같은 문제입니다

"정규성 검정을 먼저 돌려 t 냐 비모수냐를 정하자" — 합리적으로 들리지만 같은 함정입니다.

자료를 보고 검정을 정하는 것 자체가 선택이고, 그 선택이 결과에 영향을 주거든요.

원칙 — 자료를 보기 전에 정해 둔다

그래서 요즘은 이렇게 합니다

사전등록(preregistration) — 분석 계획을 미리 공개한다
계획에 없던 분석은 "탐색적" 이라고 명시한다
임상시험은 1차 평가변수를 미리 못 박는다

불편해 보이지만 자기 자신을 속이지 않기 위한 장치입니다. 그리고 사람은 자기도 모르게 유리한 쪽을 고르거든요.

🤔 확인 문제

같은 생쥐 20마리의 투여 전과 후 종양 부피를 쟀습니다. 알맞은 검정은?