8강 / 22강

유사복제 — 표본 넷으로 낼 수 있는 가장 작은 p는 0.25다

무엇을 섞어야 정직한 순열인가 · 그리고 그 답이 주는 한계

7강에서 본 카이제곱은 세포를 독립된 관측으로 셌습니다. 그런데 같은 생쥐에서 나온 세포 11,187개는 독립이 아닙니다. 그 생쥐가 어떤 생쥐였느냐가 세포 전부에 함께 묻어 있으니까요.

같은 개체의 관측을 독립 표본처럼 세는 것 — 유사복제(pseudoreplication) 입니다.

검정을 다시 짜 봅시다. 무엇을 섞어야 정직한 순열이 될까요?

고등학생유사복제라는 이름

독립이 아닌 관측을 독립인 것처럼 세는 오류를 유사복제(pseudoreplication) 라 한다.

이름의 유래

1984년 생태학자 Hurlbert 가 이름 붙였다. 호수 한 곳에서 물을 열 번 떠서 "표본이 열 개" 라고 하는 실수를 지적한 것이다.

진짜 반복	유사복제
호수 열 곳에서 한 번씩	호수 한 곳에서 열 번
생쥐 열 마리에서 세포 100개씩	생쥐 한 마리에서 세포 1,000개

단일세포 분야에서 특히 흔하다

세포 수가 워낙 많아 보이니 "표본이 충분하다" 고 착각하기 쉽다. 2020년 전후로 이 문제를 지적하는 논문이 여럿 나왔다.

많이 잰다고 여러 번 실험한 것이 되지 않는다

세포를 섞는다는 것은 모든 세포가 어느 생쥐에서 왔든 상관없다고 가정하는 것입니다.

Python 브라우저에서 실행

import im
import numpy as np

c = im.cells()
lym = c["갈래"].eq("림프계").values
smp = c["표본"].values
obs = lym[smp == "KD_PD1"].mean() * 100
print(f"KD_PD1 의 림프계 비율 : {obs:.2f}%")
print()

# ① 세포 라벨을 섞는다 — 흔히 하는 방식
rng = np.random.default_rng(20260822)
null = [rng.permutation(lym)[smp == "KD_PD1"].mean() * 100 for _ in range(2000)]
p_cell = max(1/2000, np.mean(np.array(null) >= obs))
print(f"① 세포를 섞은 순열 : 귀무 평균 {np.mean(null):.2f}% "
      f"(표준편차 {np.std(null):.2f})  p = {p_cell:.4f}")
print("   → 아주 작은 p. 그런데 이 순열은 무엇을 가정한 걸까요?")

고등학생무엇을 섞어야 정직한 순열인가

순열 검정(permutation test)은 이름표를 섞어서 "우연이면 이만큼 차이가 날까" 를 본다.

무엇을 섞을 것인가

섞는 대상	가정하는 것	맞나
세포의 조건 이름표	세포가 독립	틀림
표본의 조건 이름표	표본이 독립	맞음

세포를 섞으면 같은 문제를 반복 하는 것이다. 독립이 아닌 것을 섞어 봐야 독립인 척하는 결과만 나온다.

정직하게 하려면 표본 단위로 섞어야 한다.

순열 검정의 정직성은 무엇을 교환 가능하다고 보느냐에 달려 있다

순열검정의 최소 p 는 경우의 수가 정합니다. 표본이 적으면 이 벽에 먼저 부딪힙니다.

Python 브라우저에서 실행

import im
from itertools import combinations

# ② 표본 라벨을 섞는다 — 정직한 순열
print("표본이 넷일 때 섞을 수 있는 경우의 수")
print()
print(f"  1 대 3 으로 가르기 : {len(list(combinations(range(4), 1)))} 가지")
print(f"  2 대 2 로 가르기   : {len(list(combinations(range(4), 2)))} 가지")
print()
print("우리가 하고 싶은 검정은 'KD_PD1 하나가 나머지 셋과 다른가' 입니다.")
print("그러면 1 대 3 — 경우의 수가 4 가지뿐입니다.")
print()
print(f"관측된 배치가 가장 극단이라 해도 p = 1/4 = {1/4:.2f}")
print()
print("즉 이 설계로는 어떤 결과가 나와도 p 가 0.25 아래로 내려갈 수 없습니다.")

0.25 라는 벽

림프계가 9배 올랐든 90배 올랐든 상관없습니다. 표본이 칸마다 하나면 순열 p 는 0.25 아래로 못 내려갑니다.

설계	1 대 3 순열의 최소 p
칸마다 1마리 (지금)	0.25
칸마다 2마리	0.014 (2/8 중 1)
칸마다 3마리	0.0005

생쥐를 칸마다 두 마리씩만 썼어도 유의성을 논할 수 있었습니다. 여덟 마리면 충분했던 것이죠.

이것은 분석으로 고칠 수 없는 문제입니다. 더 좋은 통계 방법도, 더 많은 세포도 소용없습니다. 설계의 문제니까요.

고등학생표본 넷으로 낼 수 있는 가장 작은 p

표본이 넷이고 조건이 넷이면, 이름표를 붙이는 방법은 4! = 24가지 다. 그런데 2×2 설계에서 의미 있는 배치는 더 적다.

간단한 경우로 보자

두 군에 두 표본씩이면, 나눌 수 있는 방법은 4C2 = 6가지, 대칭을 빼면 3가지. 실제 배치가 가장 극단이어도 p 는 1/3 ≈ 0.33 이하로 못 내려간다.

표본 수	가능한 최소 p
2 대 2	0.33
3 대 3	0.10
4 대 4	0.029
5 대 5	0.008

이 실험의 설계에서 낼 수 있는 가장 작은 p 는 0.25 다. 0.05 에 도달할 방법이 원리적으로 없다.

유의성은 자료가 아니라 설계가 먼저 허락해야 한다

설계를 숫자로 따져 보면 '몇 마리가 필요한가' 가 바로 나옵니다.

Python 브라우저에서 실행

import im
import numpy as np
from math import comb

# 표본 수에 따라 최소 p 가 어떻게 변하나
print(f"{'칸마다 표본':>10}{'전체 표본':>10}{'1 대 나머지 경우의 수':>22}{'최소 p':>10}")
print("-" * 54)
for k in [1, 2, 3, 4, 5]:
    n = k * 4
    ways = comb(n, k)                       # 한 군을 고르는 경우의 수
    print(f"{k:>10}{n:>10}{ways:>22,}{1/ways:>10.4f}")
print()
print("칸마다 2마리(전체 8마리)면 최소 p 가 0.05 아래로 내려갑니다.")

🎮 순열 실험실

세포를 섞는 순열과 표본을 섞는 순열을 나란히 돌려 보세요.

고등학생그 답이 주는 한계

"이 설계로는 유의성을 말할 수 없다" 는 결론은 우울하다. 그런데 이것을 아는 것과 모르는 것은 크게 다르다.

모르면	알면
세포 단위 검정으로 p < 0.001 을 얻고 만족	그 p 가 무의미함을 알고 다른 것을 보고
결론을 과하게 씀	가설로 정직하게 씀
다음 실험 설계를 못 고침	몇 마리가 필요한지 계산할 수 있음

그럼 무엇을 하나

9강에서 그 답을 찾는다 — 유의성 대신 효과 크기와 구간 으로 말하는 것. 그리고 이 자료를 가설 생성용 으로 정직하게 쓰는 것.

할 수 없는 것을 아는 것이 할 수 있는 것을 찾는 첫걸음이다

🤔 확인 문제

세포 라벨을 섞는 순열검정이 이 자료에서 부적절한 이유는?

🤔 확인 문제

칸마다 표본이 하나일 때 1 대 3 순열의 최소 p 가 0.25 인 근본적인 이유는?

🤔 확인 문제

이 문제를 해결할 수 있는 유일한 방법은?