6강 / 20강
검정력 — 몇 명이 필요한지는 계산으로 나온다
효과크기 · 분산 · 알파 · 검정력, 네 개를 넣으면 사람 수가 나온다
2상이 용량을 골라 주었습니다. 이제 3상입니다.
첫 질문은 늘 같아요. 몇 명이 필요한가.
이건 예산 문제처럼 들리지만 아닙니다. 계산입니다. 그리고 계산에 들어가는 값은 딱 네 개예요.
두 군을 견주는 가장 단순한 경우, 한 군당 사람 수는 이렇게 나옵니다.
n = 2 σ² (z1−α/2 + z1−β)² / Δ²
외울 식이 아닙니다. Δ 가 분모에 제곱으로 들어간다는 것 하나만 보세요. 기대하는 차이가 반이 되면 사람은 네 배가 필요합니다.
차이가 반이면 사람은 네 배. 이 한 줄이 3상의 크기를 정합니다.
Python
브라우저에서 실행
세 개는 고르는 값, 하나는 모르는 값
알파와 검정력은 고르는 값입니다. 관례가 있어요 — 0.05 와 0.80(또는 0.90).
분산은 이전 시험에서 가져오는 값입니다. 2상이 있었으니 대충 압니다.
문제는 Δ 입니다. 아직 모르는 값이거든요. 그런데 이걸 정해야 시험을 설계할 수 있습니다.
Δ 를 크게 잡으면
시험이 작고 싸다.
그런데 약이 그만큼 좋지 않으면 못 찾는다 — 있는 효과를 놓친다
그런데 약이 그만큼 좋지 않으면 못 찾는다 — 있는 효과를 놓친다
Δ 를 작게 잡으면
시험이 크고 비싸다.
대신 웬만한 효과는 잡아낸다
대신 웬만한 효과는 잡아낸다
그래서 Δ 는 두 가지를 함께 봅니다 — 2상에서 나온 값과 임상적으로 의미 있는 최소한의 차이(5강). 둘 중 작은 쪽으로 잡는 것이 안전합니다.
🤔 확인 문제
한 군당 200명으로 설계한 시험이 있습니다. 다른 조건은 그대로 두고 기대하는 효과크기만 절반으로 줄이면, 한 군당 몇 명이 필요할까요?
해설 Δ 가 분모에 제곱으로 들어갑니다. 절반이 되면 1/(1/2)² = 4배 — 800명입니다. 이것이 '조금 좋은 약' 의 시험이 유독 커지는 이유입니다.
🤔 확인 문제
검정력 0.80 으로 설계한 시험에서 약이 실제로 설계한 만큼 효과가 있었습니다. 이 시험이 유의한 결과를 낼 확률은?
해설 검정력이 바로 그 확률입니다. 0.80 이면 다섯 번 중 한 번은 진짜 효과가 있는데도 놓칩니다. 3상을 검정력 0.90 으로 잡는 경우가 많은 이유예요 — 여기까지 왔는데 놓치면 손실이 너무 큽니다.