Lesson 17 of 20

네 군을 견줄 때 — ANOVA 와 본페로니

논문 Fig. 4 「ANOVA with the Bonferroni post hoc test」

논문 Fig. 4 의 설명 끝에 이렇게 적혀 있습니다.

ANOVA with the Bonferroni post hoc test: *P < 0.05, **P < 0.01,
***P < 0.001, ****P < 0.0001, and NS: not significant

왜 t-검정을 여러 번 하지 않고 ANOVA 를 쓸까요?

네 군에서 짝을 지으면 여섯 쌍이 나옵니다(①②, ①③, ①④, ②③, ②④, ③④). 각각 유의수준 0.05 로 검정하면, 실제로는 아무 차이가 없어도 적어도 하나가 우연히 걸릴 확률이 이렇게 됩니다.

1 − (1 − 0.05)⁶ ≈ 0.265

26.5%. 넷 중 하나꼴로 가짜 결과가 나옵니다.

High school네 군을 견줄 때

군이 넷이면 쌍이 여섯입니다. 각각 t검정하면 어떻게 될까요?

검정 수	하나라도 우연히 유의할 확률
1	5%
6	약 26%

넷을 다 비교하면 넷 중 하나는 우연히 유의합니다.

High schoolANOVA의 논리

먼저 "어느 군이든 차이가 있나"를 한 번에 묻습니다.

단계	내용
1	ANOVA — 전체적으로 차이가 있나
2	유의하면 사후검정으로 어느 쌍인지
3	유의하지 않으면 여기서 멈춤

1단계가 문지기 역할을 합니다 — 통과해야 2단계로 갑니다.

네 군이 모두 같은 분포인데도 보정 없이는 넷 중 하나꼴로 '유의' 가 나옵니다.

Python Runs in your browser

# 다중비교 문제를 직접 만들어 본다 — 아무 차이도 없는 네 군
import numpy as np
from scipy import stats
from itertools import combinations

rng = np.random.default_rng(2025)
반복 = 4000
보정없이걸림 = 0
본페로니로걸림 = 0
짝수 = 6                                    # 네 군에서 나오는 짝

for _ in range(반복):
    # 네 군 모두 같은 분포 — 진짜 차이는 하나도 없다
    군 = [rng.normal(0, 1, 7) for _ in range(4)]
    ps = [stats.ttest_ind(a, b).pvalue for a, b in combinations(군, 2)]
    if min(ps) < 0.05:              보정없이걸림   += 1
    if min(ps) < 0.05 / 짝수:       본페로니로걸림 += 1

print(f"진짜 차이는 하나도 없는데…")
print(f"  보정 없이 여섯 번 검정   {보정없이걸림/반복:6.1%} 에서 '유의' 가 나온다")
print(f"  본페로니(0.05/6) 를 쓰면 {본페로니로걸림/반복:6.1%}")
print()
print(f"이론값: 1 - 0.95^6 = {1 - 0.95**6:.1%}")

본페로니 보정은 아주 단순합니다. 짝이 여섯이면, 유의수준을 여섯으로 나눕니다.

α_보정 = 0.05 / 6 ≈ 0.0083

단순한 만큼 보수적입니다. 진짜 있는 차이도 놓치기 쉬워요. 그래도 마우스 실험처럼 마리 수가 적고 군이 몇 개뿐일 때는 이해하기 쉽고 방어하기 쉬워서 널리 씁니다.

High school본페로니 보정

사후검정에서 α를 검정 수로 나눕니다.

비교 수	보정된 α
1	0.05
6	0.0083

문턱이 훨씬 엄격해집니다 — 그만큼 검정력은 떨어져요.

본페로니는 가장 보수적입니다. Tukey나 Dunnett 같은 덜 엄격한 방법도 있어요 — 목적에 따라 고릅니다.

High school2×2 설계에 맞는 분석

9강의 2×2 설계라면 이원 ANOVA가 더 적절합니다.

이원 ANOVA가 알려 주는 것	내용
요인 A의 주효과	넉다운의 효과
요인 B의 주효과	항-PD1의 효과
상호작용	둘의 조합 효과

네 군을 여섯 쌍으로 보는 대신 세 질문으로 정리됩니다 — 훨씬 효율적이에요.

🤔 Check yourself

네 군에서 여섯 쌍을 각각 α=0.05 로 검정하면, 진짜 차이가 없어도 적어도 하나가 유의하게 나올 확률은?