10강 / 20강

검정력 — 있는 것을 못 찾는 쪽의 잘못

1종 오류만 지키다 2종 오류를 놓치는 일

검정은 두 가지로 틀릴 수 있습니다.

	진실: 효과 없음	진실: 효과 있음
유의하다고 했다	1종 오류 (α) 없는 것을 있다고	맞음
유의하지 않다고 했다	맞음	2종 오류 (β) 있는 것을 못 찾음

검정력 = 1 − β = 있는 것을 찾아낼 확률

관습은 α 를 0.05 로 못박습니다. 그런데 β 는 아무도 안 적습니다. 그래서 검정력이 0.3 인 연구가 태연히 발표됩니다 — 진짜 효과의 열에 일곱을 놓치면서요.

고등학생있는 것을 못 찾는 쪽의 잘못

지금까지는 없는 것을 있다고 하는 실수만 다뤘습니다. 반대 실수도 있어요.

	실제로 차이가 없다	실제로 차이가 있다
있다고 판정	1종 오류 (α) — 헛것을 봤다	정답 ✔
없다고 판정	정답 ✔	2종 오류 (β) — 놓쳤다

검정력 = 1 − β = 있는 것을 찾아낼 확률

비유 — 화재경보기 (또 나왔습니다)

	불이 안 났는데 울림	불이 났는데 안 울림
이름	1종 오류	2종 오류
결과	귀찮다	집이 탄다

그런데 통계는 1종 오류만 열심히 지킵니다

p < 0.05 는 1종 오류를 5% 로 묶는 약속입니다. 그런데 2종 오류는? 아무도 안 정합니다.

α 는 늘 0.05 인데 β 는 연구마다 제각각이다

많은 연구의 검정력이 0.2~0.4 밖에 안 됩니다. 진짜 효과가 있어도 절반 이상 놓친다는 뜻이에요.

왜 이렇게 됐나

검정력을 올리려면 표본을 늘려야 하는데 돈이 들기 때문입니다. √n 의 법칙이 또 발목을 잡아요.

그래서 "할 수 있는 만큼" 하고 검정력은 안 따집니다. 그리고 그게 다음 note 의 무서운 결과로 이어져요.

검정력이 낮은 연구는 놓치기만 하는 게 아니라, <b>찾았을 때 부풀립니다</b>.

Python 브라우저에서 실행

# 검정력이 낮으면 무슨 일이 생기나
import numpy as np
from scipy import stats
rng = np.random.default_rng(51)

TRUE_D = 0.3          # 진짜 효과크기 (작다)
REP = 800

print(f"진짜 효과크기 d = {TRUE_D} (작지만 0 이 아니다)")
print()
print("   한 군당      검정력      찾았을 때 추정한 효과크기의 평균")
for n in [20, 50, 100, 300, 1000]:
    found, ests = 0, []
    for _ in range(REP):
        a = rng.normal(TRUE_D, 1, n)
        b = rng.normal(0, 1, n)
        t, p = stats.ttest_ind(a, b)
        d_hat = (a.mean() - b.mean()) / np.sqrt((a.var(ddof=1) + b.var(ddof=1)) / 2)
        if p < 0.05:
            found += 1
            ests.append(d_hat)
    print(f"  {n:6d}      {found/REP:6.2f}      {np.mean(ests):6.3f}")
print()
print("아래로 갈수록 검정력이 오른다 - 여기까지는 예상대로다.")
print()
print("오른쪽 칸을 보라. 검정력이 낮을 때 '찾아낸' 효과는")
print(f"진짜 값 {TRUE_D} 보다 훨씬 크게 나온다.")
print("작은 연구에서 유의하게 나오려면 우연히 크게 나와야 하기 때문이다.")

고등학생검정력이 낮으면 찾았을 때 부풀립니다

캡션이 말하는 이것이 가장 반직관적인 사실입니다.

검정력이 낮은 연구는 놓치기만 하는 게 아니라
찾았을 때 효과를 부풀린다

왜 그런가 — 논리를 따라가면

검정력이 낮다 = 표본이 작다 = 흔들림이 크다
흔들림이 큰데 p < 0.05 를 통과하려면?
관측된 차이가 아주 커야 한다
그러니 통과한 것들은 전부 과대추정이다

작은 연구에서 유의하게 나왔다면 그 크기는 부풀려져 있다

비유 — 키 작은 반에서 뽑힌 농구선수

어떤 반에서 "180cm 이상인 학생" 만 뽑습니다. 그 반의 평균 키가 165cm 라면?

뽑힌 학생은 아주 예외적으로 큰 학생입니다. 그 학생의 키로 반 전체를 짐작하면 크게 틀리죠.

이것을 '승자의 저주' 라고 합니다

note 의 제목이 그거예요. 경매에서 온 말입니다 — 가장 높게 부른 사람이 낙찰받는데, 그 사람은 대개 가치를 과대평가한 사람이죠.

문턱을 넘은 것만 보면 체계적으로 부풀려진 것만 본다

실제로 벌어지는 일

시점	보고된 효과
처음 발견 (작은 연구)	아주 크다
후속 연구 (큰 연구)	훨씬 작다
메타분석	더 작다

이걸 효과 크기의 감소(decline effect) 라고 합니다. 재현 위기의 주요 원인 중 하나예요.

퀴즈가 이걸 묻습니다 — 검정력 0.25 인 연구가 p=0.04 를 냈다면? 그 추정치는 과대추정일 가능성이 높습니다.

고등학생그래서 미리 계산합니다

note 를 읽고 나면 자연스러운 물음이 생깁니다 — "그럼 몇 명이 필요한가?"

연구를 시작하기 전에 계산한다 — 표본수 계산

네 가지가 서로 묶여 있습니다

값	보통	누가 정하나
α (1종 오류)	0.05	관습
검정력	0.80 이상	관습 (또는 0.90)
효과 크기	?	연구자가 정한다
n (표본 수)	?	계산해서 나온다

셋을 정하면 나머지 하나가 정해진다

세 번째가 어렵습니다

"얼마나 작은 차이까지 잡고 싶은가" 를 정해야 하는데, 이건 통계가 아니라 판단입니다.

너무 작게 잡으면 → n 이 폭증한다
너무 크게 잡으면 → 의미 있는 차이를 놓친다

보통은 임상적으로 의미 있는 최소 차이를 씁니다 — "이만큼은 개선되어야 약으로서 값어치가 있다" 는 선이요.

위젯에서 직접 해 보세요

효과크기 · 표본수 · α 를 움직이면 검정력이 따라옵니다. 직접 만져 보면 얼마나 비싼지가 몸으로 느껴져요.

작은 효과를 잡으려면 표본이 폭증한다

그리고 사후 검정력은 쓰지 않습니다

연구가 끝난 뒤 "우리 검정력이 얼마였나" 를 계산하는 것은 통계학자들이 권하지 않습니다.

이미 나온 p 값에서 되짚어 계산하는 것이라 새 정보가 없기 때문이에요. 검정력은 시작 전에 쓰는 도구입니다.

검정력을 올리는 네 가지 손잡이

손잡이	효과	대가
표본을 늘린다	가장 확실하다	돈과 시간. 두 배 정밀도에 네 배
측정 오차를 줄인다	σ 가 줄어 공짜로 검정력이 오른다	더 나은 장비·절차
α 를 느슨하게	오른다	거짓양성이 는다. 대개 못 쓴다
단측검정으로	조금 오른다	미리 정했을 때만. 나중에 바꾸면 부정이다

두 번째가 가장 저평가되어 있습니다. 측정을 정교하게 하는 것은 사람을 더 모으는 것과 같은 일을 공짜로 해 줍니다 — /molassay 와 /cytohist 가 절차를 그렇게 깐깐하게 다루는 이유예요.

고등학생10강 정리 — 두 가지 오류를 함께 보라

10강을 접으면 이렇습니다.

1종 오류만 지키다 2종 오류를 놓치는 일이 흔하다

기억할 문장 셋

p > 0.05 는 "차이가 없다" 가 아니다 — 검정력이 낮아 못 찾았을 수 있다
작은 연구의 유의한 결과는 크기가 부풀려져 있다
연구는 시작 전에 몇 명이 필요한지 계산한다

논문을 읽을 때 확인할 것

찾아볼 것	없으면
표본수 계산이 방법 문단에 있나	계획 없이 할 수 있는 만큼 한 연구다
n 이 얼마인가	10 이하면 결론을 조심해서 읽는다
신뢰구간이 있나	효과 크기의 불확실성을 알 수 없다

"유의하지 않았다" 는 결과에는 반드시 검정력을 물어라

그리고 좋은 소식 하나

2종 오류를 줄이는 방법이 표본 늘리기만 있는 건 아닙니다.

더 정밀하게 재기 — 측정 오차를 줄이면 신호가 잘 보인다
짝지어 비교하기 — 같은 개체의 전후를 보면 개인차가 사라진다 (11강)
불필요한 변동 줄이기 — 실험 조건을 통일한다

n 을 늘리는 것보다 잡음을 줄이는 것이 쌀 때가 많다

이게 실험을 잘 설계한다는 말의 뜻입니다. 같은 돈으로 더 많이 알아내는 방법이 있어요.

🤔 확인 문제

검정력 0.25 인 연구가 p=0.04 로 유의한 결과를 냈습니다. 이 추정치에 대해 예상할 수 있는 것은?