7강 / 20강

신뢰구간 — 95%가 뜻하지 않는 것

구간이 흔들리는 것이지 참값이 흔들리는 것이 아니다

"95% 신뢰구간은 3.2 에서 8.7 이다." 이 문장의 뜻은 무엇일까요?

거의 모두가 이렇게 읽는다

"참값이 이 구간 안에 있을 확률이 95%"
→ 틀렸습니다

실제 뜻

"이런 식으로 구간을 만드는 절차를 되풀이하면, 그렇게 만든 구간의 95% 가 참값을 덮는다"

왜 이렇게 까다롭게 구별할까요. 참값은 이미 정해져 있기 때문입니다. 움직이는 것은 참값이 아니라 내가 만든 구간이에요.

3.2–8.7 이라는 이 구간 하나는 참값을 덮었거나 안 덮었거나 둘 중 하나입니다. 확률이 앉을 자리가 없어요 — 2강에서 본 그 이야기입니다.

고등학생95%가 뜻하지 않는 것

신뢰구간은 통계에서 가장 많이 오해받는 개념입니다. 먼저 틀린 해석부터 봅시다.

흔한 해석	맞나
"참값이 이 구간에 있을 확률이 95%"	✘ 틀림
"95% 의 자료가 이 구간에 있다"	✘ 틀림
"이런 구간을 100번 만들면 95번은 참값을 담는다"	✔ 맞음

구간이 흔들리는 것이지 참값이 흔들리는 것이 아니다

비유 — 고리던지기

말뚝에 고리를 던집니다.

말뚝(참값)은 움직이지 않습니다. 자리가 정해져 있어요
고리(신뢰구간)가 매번 다른 자리에 떨어집니다
"95% 신뢰" 는 "고리의 95% 가 말뚝에 걸린다" 는 뜻

확률은 고리에 붙는 것이지 말뚝에 붙는 게 아니다

그럼 내가 던진 이 고리는?

걸렸거나 안 걸렸거나 둘 중 하나입니다. 확률이 아니에요. 다만 어느 쪽인지 모를 뿐입니다.

2강에서 본 그 이야기입니다 — 확률은 낱개가 아니라 무리에 붙는 말이에요.

이게 그냥 말장난인가

아닙니다. 실제로 결론이 달라집니다.

"참값이 여기 있을 확률 95%" 라고 읽으면 구간 안의 값들을 다 비슷하게 여기게 됩니다. 그런데 실제로는 가운데가 훨씬 그럴듯해요.

놓친 구간을 골라내는 방법은 없습니다. 우리가 아는 것은 <b>비율</b>뿐이에요.

Python 브라우저에서 실행

# 구간을 100번 만들면 몇 개가 참값을 놓치나
import numpy as np
from scipy import stats
rng = np.random.default_rng(21)

TRUE_MEAN = 50.0        # 참값 - 우리는 안다고 하자
SD, N, REP = 12.0, 25, 100

miss = 0
for i in range(REP):
    x = rng.normal(TRUE_MEAN, SD, N)
    se = x.std(ddof=1) / np.sqrt(N)
    t = stats.t.ppf(0.975, N - 1)
    lo, hi = x.mean() - t * se, x.mean() + t * se
    if not (lo <= TRUE_MEAN <= hi):
        miss += 1
        if miss <= 3:
            print(f"  {i+1:3d}번째 구간 [{lo:.1f}, {hi:.1f}] - 참값 {TRUE_MEAN} 을 놓쳤다")

print()
print(f"{REP}개 구간 중 {miss}개가 참값을 놓쳤다 ({miss/REP*100:.0f}%)")
print("설계값은 5% 다.")
print()
print("주목할 것: 놓친 구간도 겉보기에 멀쩡하다.")
print("한 구간만 보고는 그것이 맞았는지 틀렸는지 알 수 없다.")

고등학생놓친 구간을 골라내는 방법은 없습니다

캡션의 이 문장이 핵심입니다.

놓친 구간을 골라내는 방법이 없다 — 우리가 아는 것은 비율뿐

위젯에서 직접 보세요

구간을 100개 만들면 다섯 개쯤이 참값을 놓칩니다. 그리고 그 다섯 개는 겉보기에 똑같이 생겼어요.

구간	겉보기	실제
#17	정상	참값을 담았다 ✔
#42	정상	놓쳤다 ✘

구간만 보고는 구별할 수 없습니다. 참값을 알아야 하는데, 참값을 알면 애초에 구간을 만들 필요가 없죠.

이것이 통계의 근본적인 한계다

비유 — 우산을 챙길지 정하기

강수확률 30% 인 날 우산을 안 챙겼는데 비가 왔습니다. 판단이 틀렸나요?

아니죠. 합리적인 판단이었고 운이 나빴을 뿐입니다. 그리고 그 두 가지를 구별할 방법이 없습니다.

좋은 방법을 써도 가끔 틀린다 — 그것까지가 방법의 일부다

그래서 태도가 정해집니다

연구 하나의 결과를 절대적으로 믿지 않는다
여러 연구가 같은 말을 할 때 믿는다
내 결과가 틀렸을 가능성을 늘 남겨 둔다

과학이 재현을 그렇게 강조하는 이유가 여기 있습니다. 한 번의 95% 는 20번에 한 번 틀리니까요.

고등학생구간의 폭이 p 값보다 많은 것을 말합니다

이 note 가 아주 실용적입니다.

p 값은 있나/없나 만, 구간은 얼마나 까지 말한다

같은 p 값, 다른 이야기

	p	95% CI	읽기
연구 A	0.04	4.0 ~ 4.8	효과가 약 4.4로 확실
연구 B	0.04	0.2 ~ 20.1	효과가 있긴 한데 크기는 모른다

p 값은 같습니다. 그런데 알려 주는 게 완전히 달라요.

넓은 구간 = "모르겠다" 는 정직한 고백

반대 경우도 중요합니다

p > 0.05 라고 "차이가 없다" 고 하면 안 됩니다. 구간을 봐야 해요.

95% CI	읽기
−0.3 ~ 0.4	차이가 있어도 아주 작다 — 거의 없다고 볼 만
−15 ~ 20	아무것도 모른다 — 큰 효과도 배제 못 함

p > 0.05 는 "같다" 가 아니라 "모른다" 일 수 있다

20강의 "가장 자주 넘는 선 다섯" 중 세 번째가 이겁니다.

퀴즈의 해석

본문 퀴즈에 4.4% (95% CI 0.7–9.1) 이 나옵니다.

0 을 안 포함하니 → 유의하다 (p < 0.05)
그런데 0.7 부터 9.1 까지 → 효과 크기는 10배 이상 불확실
즉 "효과는 있는 것 같은데 얼마인지는 모른다"

이게 정직한 해석입니다. 논문 초록에는 대개 "4.4% 개선" 이라고만 적히죠.

그러면 '이 구간 안에 있을 확률' 은 어떻게 말하나

그렇게 말하려면 다른 종류의 확률이 필요합니다 — 2강의 '믿음' 쪽이에요. 베이즈 방식의 신용구간(credible interval) 이 그것이고, 그건 정말로 "참값이 이 안에 있을 확률 95%" 라고 읽습니다.

대신 사전분포를 정해야 합니다 — 자료를 보기 전에 무엇을 믿었는지를요. 그 대가로 문장이 자연스러워집니다.

빈도주의 신뢰구간   절차의 성질을 말한다      사전분포가 필요 없다
베이즈 신용구간     참값의 위치를 말한다      사전분포가 필요하다

숫자는 자주 비슷하게 나온다. 문장의 뜻이 다르다.

이 강의는 앞엣것을 씁니다 — 이 사이트의 다른 과목들이 그것을 쓰니까요. 다만 읽을 때는 정확하게 읽어야 합니다.

고등학생구간을 읽는 습관

7강을 마치며 실전 요령을 정리합니다.

신뢰구간을 볼 때 물을 것 셋

물음	왜
0 을 포함하나?	유의한지 (p < 0.05 와 대응)
얼마나 넓나?	추정이 얼마나 미더운지
구간의 양 끝이 실용적으로 뜻이 있나?	이게 제일 중요하다

세 번째를 풀면

구간의 양 끝을 실제 상황에 넣어 보세요.

예를 들어 어떤 약의 생존 연장이 95% CI 0.2 ~ 9.1 개월 이라면 —

0.2개월(6일) 이라면? — 부작용과 비용을 생각하면 안 쓴다
9.1개월이라면? — 당연히 쓴다

구간의 한쪽 끝에서 결론이 뒤집히면 — 아직 모르는 것이다

이럴 때 필요한 건 더 큰 연구입니다. p 값을 다시 계산한다고 될 일이 아니에요.

그리고 이 태도가 임상에서 쓰입니다

"통계적으로 유의하다" 만으로 약을 승인하지 않습니다. 임상적으로 의미 있는 최소 차이를 미리 정해 두고, 구간이 그 선 위에 있는지를 봅니다.

통계는 우연인지만 답한다 — 중요한지는 사람이 정한다

20강의 결론이 이 문장입니다. 7강에서 벌써 그 이야기가 시작된 거예요.

🤔 확인 문제

어떤 3상의 효과 추정치가 4.4% (95% CI 0.7–9.1) 였습니다. 옳은 해석은?