13강 / 20강

귀무분포 — 우연을 직접 만들어 재기

순열검정 한 판

6강에서 상호정보량이 표본이 적으면 부풀려진다고 했습니다. 11강의 t 값도, 5강의 상관계수도 마찬가지입니다. 값 하나만 보고는 판정할 수 없습니다.

해법은 놀랍도록 단순합니다.

변이 표시를 환자들 사이에서 마구 섞어 같은 계산을 수천 번 반복한다

섞고 나면 변이와 활성 사이의 진짜 관계는 끊어집니다. 그런데도 계산은 매번 0 이 아닌 값을 냅니다 — 그게 우연이 만들어 내는 값의 범위입니다. 이것을 귀무분포(null distribution) 라고 합니다.

실제 자료에서 나온 값이 이 분포의 바깥쪽 끝에 있으면 "우연이 아니다"라고 말합니다. 그 바깥쪽에 있는 비율이 곧 p값입니다.

고등학생우연을 직접 만들어 재기

통계량을 얻었다. 얼마나 놀라운가?

이론 분포를 쓸 수도 있지만

방법	가정
이론 공식	정규성 · 독립 등
순열	거의 없음

순열검정의 절차

단계	하는 일
1	이름표를 무작위로 섞음
2	같은 통계량을 계산
3	수천 번 반복
4	실제 값이 얼마나 극단인가

공식이 못 미더우면 자료로 직접 만들면 된다

🎮 직접 섞어 보세요

섞는 횟수를 늘려 가며 히스토그램이 어떻게 채워지는지, 관측값이 어디에 서 있는지 보세요.

고등학생무엇을 섞느냐

섞는 것	검정하는 가설
변이 여부	이 변이가 활성과 무관하다
활성 값	같은 가설, 다른 방식
MR 이름표	이 MR 이 특별하지 않다

유지해야 할 구조를 유지하기

변이 여부를 섞으면 변이의 빈도 는 그대로다.

그러니 빈도 때문에 생기는 편향 도 기준선에 들어간다.

섞을 때 무엇을 유지하느냐가 어떤 편향을 상쇄할지를 정한다

10,000번 섞는 데 몇 초면 됩니다. 분포를 가정할 필요가 전혀 없습니다.

Python 브라우저에서 실행

# 순열검정을 처음부터 끝까지 직접 해 봅니다
import random
random.seed(42)

활성 = [2.8, 1.9, 3.4, 2.1, 1.6, 2.9, 0.8, 2.4,          # 변이 있는 8명
        0.3, -0.9, 0.7, -1.4, 0.1, -0.5, 1.1,
        -0.2, -1.1, 0.6, -0.8, 0.2]                        # 변이 없는 12명
변이 = [1]*8 + [0]*12

def 통계량(변이표, 활성값):
    있음 = [a for v, a in zip(변이표, 활성값) if v]
    없음 = [a for v, a in zip(변이표, 활성값) if not v]
    return sum(있음)/len(있음) - sum(없음)/len(없음)

관측 = 통계량(변이, 활성)
print(f"관측된 차이: {관측:+.2f}")

반복 = 10000
섞은값 = []
표시 = 변이[:]
for _ in range(반복):
    random.shuffle(표시)                    # 변이 표시만 섞는다
    섞은값.append(통계량(표시, 활성))

극단 = sum(1 for x in 섞은값 if abs(x) >= abs(관측))
p = (극단 + 1) / (반복 + 1)                 # +1 은 관측값 자신을 포함시키는 관례

print(f"섞어서 만든 값 {반복}개 중 관측만큼 극단적인 것: {극단}개")
print(f"순열 p값 = {p:.5f}")
print()
평균 = sum(섞은값)/len(섞은값)
sd = (sum((x-평균)**2 for x in 섞은값)/len(섞은값)) ** 0.5
print(f"귀무분포: 평균 {평균:+.3f}, 표준편차 {sd:.3f}")
print(f"관측값은 평균에서 {(관측-평균)/sd:.1f} 표준편차 떨어져 있습니다.")

고등학생MI 의 편향이 자동으로 상쇄된다

6강에서 봤다 — MI 는 표본이 적으면 부풀려진다.

그런데 섞은 자료도 같은 표본 수다

	MI
실제	진짜 신호 + 편향
섞은 것	0 + 같은 편향
차이	진짜 신호만

그래서 편향을 없앨 필요가 없다

기준선에 같은 편향 이 들어가니 비교하면 상쇄된다.

11강의 t 값도, 5강의 상관계수도 마찬가지

어떤 통계량이든 같은 절차 로 섞으면 그 통계량 특유의 편향이 상쇄된다.

순열검정의 진짜 힘은 통계량의 편향을 자동으로 처리한다는 것이다

고등학생순열의 한계

한계	내용
계산 비용	수천 번 반복
p 값 해상도	1,000번이면 최소 0.001
표본이 적으면	가능한 순열이 적음
구조를 유지해야	무엇을 섞을지 신중히

두 번째가 다중검정에서 문제다

100만 번 검정하면 p < 10⁻⁸ 이 필요하다.

그러려면 순열을 1억 번 해야 한다. 불가능하다.

그래서 근사를 쓴다

순열 분포에 이론 분포를 맞춰 꼬리를 외삽한다.

아주 작은 p 값이 필요하면 순열만으로는 부족하고 근사가 필요하다

🤔 확인 문제

순열검정에서 변이 표시를 섞는 이유는 무엇인가요?

무엇을 섞을 것인가 — 함정

순열검정에서 가장 흔한 실수는 섞으면 안 되는 것을 섞는 것입니다. "귀무가설이 참일 때 자료가 어떻게 생겼을까"를 정확히 흉내내야 합니다.

검정하려는 것	섞을 것	유지할 것
변이 ↔ MR 활성	환자별 변이 표시	활성값들의 구조
레귤론 농축	레귤론에 속한 유전자 이름	시그니처 순위표
두 아형 차이	아형 표시	환자별 발현 프로필 전체

예를 들어 아형 표시 대신 유전자 이름을 섞으면, 유전자들 사이의 상관 구조가 깨져서 귀무분포가 실제보다 좁아집니다. 그러면 p값이 실제보다 작게 나와 거짓 발견이 쏟아집니다.

이 실수는 실제 논문에서도 종종 발견됩니다. 무엇을 섞는지 늘 확인하세요.

Python 브라우저에서 실행

# 잘못 섞으면 어떻게 되는지 봅니다
import random
random.seed(1)

# 유전자 6개가 서로 강하게 상관되어 있는 자료 (한 경로에 속한 유전자들)
환자수 = 16
공통 = [random.gauss(0, 1) for _ in range(환자수)]
유전자 = {f"G{i}": [공통[j] + random.gauss(0, 0.25) for j in range(환자수)]
          for i in range(6)}
아형 = [1]*8 + [0]*8

def 평균차(값, 표시):
    a = [v for v, t in zip(값, 표시) if t]; b = [v for v, t in zip(값, 표시) if not t]
    return sum(a)/len(a) - sum(b)/len(b)

def 세트점수(표시):                      # 6개 유전자의 평균차를 합친 값
    return sum(평균차(v, 표시) for v in 유전자.values()) / len(유전자)

관측 = 세트점수(아형)

# ① 올바른 방법 — 아형 표시를 섞는다 (유전자 사이 상관은 그대로)
바른 = []
t = 아형[:]
for _ in range(3000):
    random.shuffle(t); 바른.append(세트점수(t))

# ② 잘못된 방법 — 유전자마다 따로 섞는다 (상관 구조가 깨진다)
틀린 = []
for _ in range(3000):
    섞인 = {k: random.sample(v, len(v)) for k, v in 유전자.items()}
    a = [sum(v[j] for v in 섞인.values())/6 for j in range(환자수)]
    틀린.append(평균차(a, 아형))

def sd(xs):
    m = sum(xs)/len(xs); return (sum((x-m)**2 for x in xs)/len(xs))**0.5

print(f"관측값 {관측:+.3f}")
print(f"① 아형 표시를 섞은 귀무분포  표준편차 {sd(바른):.3f}")
print(f"② 유전자를 따로 섞은 귀무분포 표준편차 {sd(틀린):.3f}")
print()
print("②가 훨씬 좁습니다 — 유전자들이 함께 움직이는 성질을 지워 버렸기 때문입니다.")
print("좁은 귀무분포 = 작은 p값 = 거짓 발견의 홍수.")

🤔 확인 문제

유전자들이 서로 상관되어 있는 자료에서 유전자마다 따로 값을 섞어 귀무분포를 만들면 어떤 문제가 생기나요?

🤔 확인 문제

10,000번 순열을 돌렸는데 관측값만큼 극단적인 값이 하나도 없었습니다. p값을 어떻게 보고하는 것이 정직한가요?