7강 / 22강

세포를 늘리면 p값은 저절로 작아진다

카이제곱 · 그리고 같은 비율에서 세포 수만 바꿔 보기

조성이 다른지 검정하는 가장 흔한 방법은 카이제곱입니다. 세포유형 × 표본 표를 만들어 넣으면 됩니다. 해 봅시다.

고등학생세포를 늘리면 p 값이 저절로 작아진다

조건 사이에 조성 차이가 있는지 검정하고 싶다. 가장 쉬운 방법은 카이제곱 검정 이다.

그런데 여기에 함정이 있다

카이제곱 통계량은 표본 크기에 비례해서 커진다. 비율이 똑같아도 세포 수를 늘리면 p 값이 작아진다.

세포 수	비율 (같음)	p 값
100	2% vs 3%	크다
1,000	2% vs 3%	작아짐
37,585	2% vs 3%	매우 작음

차이는 그대로인데 p 값만 작아진다.

p 값은 효과의 크기가 아니라 "이 표본 크기로 볼 수 있느냐" 를 말한다

p 가 0 으로 밑바닥을 칩니다. 좋은 신호일까요?

Python 브라우저에서 실행

import im
from scipy import stats

c = im.comp()
big = c.index[c.min(axis=1) >= 20]          # 너무 적은 유형은 카이제곱을 못 쓴다
chi2, p, dof, exp = stats.chi2_contingency(c.loc[big].values)

print(f"검정에 넣은 세포유형 : {len(big)}개")
print(f"세포 수             : {c.loc[big].values.sum():,}")
print(f"chi2 = {chi2:,.1f}   자유도 {dof}")
print(f"p = {p:.3e}" if p > 0 else "p = 0 보다 작다 (배정밀도로 표현할 수 없음)")
print()
print("압도적으로 유의합니다. 그런데 이 숫자가 무엇을 말해 주나요?")

같은 비율, 세포 수만 줄이면

비율은 그대로 두고 세포 수만 줄여 같은 검정을 다시 해 봅시다. 비율이 같으니 "생물학적 차이" 는 똑같습니다. p 는 어떻게 될까요?

고등학생이것이 왜 심각한 문제인가

세포 수를 얼마나 읽을지는 실험자가 정한다. 그러면 p 값도 실험자가 정하는 셈 이다.

단일세포 자료에서 특히 그렇다

세포 3만 7천 개면 0.1% 차이도 유의 하게 나온다. 그러면 거의 모든 비교가 p < 0.001 이다.

그런 p 값은 정보가 없다. 모두가 유의하면 무엇이 중요한지 구별할 수 없다.

p 값이 유용한 상황	무용한 상황
표본 크기가 자연스럽게 정해짐	실험자가 마음대로 정함
관측이 독립	같은 개체에서 나옴

p 값을 조작할 수 있는 설계에서는 p 값이 증거가 되지 못한다

p값이 세포 수를 따라 움직입니다 — 생물학은 그대로인데요.

Python 브라우저에서 실행

import im
import numpy as np
from scipy import stats

c = im.comp()
big = c.index[c.min(axis=1) >= 20]
base = c.loc[big].values.astype(float)

print(f"{'세포 수':>10}{'chi2':>12}{'p':>14}")
print("-" * 38)
for frac in [1.0, .5, .2, .1, .05, .02, .01, .005]:
    small = np.round(base * frac)
    if small.sum(axis=0).min() < 5 or (small.sum(axis=1) == 0).any():
        continue
    chi2, p, _, _ = stats.chi2_contingency(small)
    star = "  ← 유의하지 않다" if p > .05 else ""
    print(f"{int(small.sum()):>10,}{chi2:>12.1f}{p:>14.3g}{star}")
print()
print("비율은 한 번도 안 바뀌었습니다. 바뀐 것은 '몇 개를 읽었나' 뿐이에요.")

고등학생더 근본적인 문제 — 독립이 아니다

카이제곱 검정은 관측이 서로 독립 이라고 가정한다. 같은 생쥐에서 나온 세포 3만 개는 독립인가?

아니다

공유하는 것
그 생쥐의 유전적 배경
그 생쥐의 나이 · 체중 · 종양 크기
그날의 처리 조건 · 해리 방법
그 시퀀싱 런의 배치 효과

세포들은 한 개체 안에 뭉쳐 있다. 독립적인 관측 3만 개가 아니라 서로 닮은 관측 3만 개 다.

같은 개체에서 나온 관측은 서로 닮아 있어서 독립 가정이 깨진다

귀무가설이 참인 상황을 만들어 검정이 무엇을 재는지 확인합니다.

Python 브라우저에서 실행

import im
import numpy as np
from scipy import stats

# 더 나쁜 경우 — 같은 생쥐를 둘로 쪼개 '반복' 이라고 우기면?
c = im.cells()
rng = np.random.default_rng(20260822)

sel = (c["표본"] == "WT_CTRL").values
half = rng.random(sel.sum()) < .5
a = c[sel][half]["갈래"].value_counts()
b = c[sel][~half]["갈래"].value_counts()

tab = np.vstack([a.reindex(sorted(set(a.index) | set(b.index))).fillna(0),
                 b.reindex(sorted(set(a.index) | set(b.index))).fillna(0)])
chi2, p, _, _ = stats.chi2_contingency(tab)
print("같은 생쥐의 세포를 무작위로 반씩 갈라 비교하면")
print(f"  chi2 = {chi2:.2f}   p = {p:.3f}")
print()
print("당연히 유의하지 않습니다 — 같은 생쥐니까요.")
print("이 검정이 재는 것은 '세포를 뽑는 잡음' 뿐입니다.")
print("네 표본을 견줄 때도 카이제곱이 재는 것은 결국 그것입니다.")

🎮 카이제곱 실험실

세포 수를 슬라이더로 줄여 보세요. 같은 비율인데 p 가 어떻게 움직이는지 보입니다.

고등학생같은 비율에서 세포 수만 바꿔 본다

실습에서 직접 해 보는 것이 이것이다. 비율은 고정하고 세포 수만 늘려 가며 p 값을 본다.

기대되는 곡선

세포 수가 늘수록 p 값이 단조롭게 내려간다. 어떤 크기에서든 원하는 p 값을 만들 수 있다.

이 실습의 목적

배우는 것
p 값이 표본 크기에 얼마나 민감한지 몸으로 안다
논문의 p < 0.001 을 볼 때 n 을 먼저 확인하는 습관
효과 크기를 따로 봐야 하는 이유

말로 "p 값은 표본 크기에 의존한다" 를 듣는 것과 직접 숫자를 바꿔 보는 것은 다르다.

통계의 함정은 설명을 듣는 것보다 직접 만들어 보는 것이 빨리 이해된다

🤔 확인 문제

비율을 그대로 두고 세포 수만 줄였더니 p 가 커진 것이 뜻하는 것은?

🤔 확인 문제

단일세포 자료에서 'p < 0.001 이므로 두 조건이 다르다' 가 약한 주장인 이유는?

🤔 확인 문제

같은 생쥐의 세포를 무작위로 반씩 갈라 카이제곱한 실험의 목적은?