Lesson 18 of 20

왜 이렇게 작은가 — 검정력과 흔들림을 재어 본다

애초에 잡을 수 있는 크기였나 · 정규화를 바꾸면 결론이 바뀌나

지금까지 나온 숫자를 모아 보면 이렇습니다.

검정	이동	p
표적 452 개 전체	−0.021 log2	0.128
8mer·7mer-m8 362 개	−0.028	0.075
PCT > 0.5 인 224 개	−0.041	0.052
계열 82 개의 상관	r = +0.03	0.82

전부 방향은 맞고 문턱은 못 넘습니다. 이제 물어야 할 것은 하나입니다.

이 실험이 애초에 그만한 크기를 잡아낼 수 있었는가?

High school애초에 잡을 수 있는 크기였나

17강에서 2.8% 라는 효과를 봤다. 이제 물어야 할 것은 이것이다.

이 실험은 2.8% 를 검출할 검정력이 있었나?

검정력이란

실제로 효과가 있을 때 그것을 유의하게 검출할 확률 이다. 보통 80% 를 목표로 한다.

검정력에 영향을 주는 것
효과 크기 — 작을수록 어려움
표본 수 — 많을수록 쉬움
변동 — 클수록 어려움

검출하지 못한 것이 없어서인지 못 봐서인지는 검정력이 답한다

검정력 계산은 실험 전에 하는 것이지만, 끝난 뒤에 해도 결과 해석에 큰 도움이 됩니다.

Python Runs in your browser

import mi
import numpy as np
from scipy import stats

d = mi.expressed()
c = mi.cpm(mi.mrna())
lg = np.log2(c + 1).loc[d.index]

# 유전자 하나의 log2FC 가 얼마나 흔들리는가
sd = float(lg.std(axis=1, ddof=1).median())
se_gene = sd * np.sqrt(1 / len(mi.MRWT) + 1 / len(mi.MRKD))

tgt = [g for g in mi.targets_of(mi.FAM34) if g in d.index]
se_set = float(d.loc[tgt, "logFC"].std(ddof=1) / np.sqrt(len(tgt)))

print(f"유전자 하나의 log2 표준편차   : {sd:.3f}")
print(f"유전자 하나 log2FC 의 표준오차 : {se_gene:.3f}")
print(f"표적 {len(tgt)}개 평균의 표준오차 : {se_set:.4f}")
print()
print(f"→ 집합으로 묶으면 오차가 {se_gene / se_set:.0f} 배 줄어듭니다. 그래서 집합 검정을 씁니다.")
print()
# 80% 검정력으로 잡아낼 수 있는 최소 이동
# 우리가 쓴 검정은 단측(alternative="less")이므로 임계값도 단측 1.645 를 쓴다.
need = (1.645 + 0.842) * se_set
print(f"80% 확률로 잡아내려면 이동이 최소 {need:.4f} log2 여야 합니다.")
print(f"실제로 관측된 이동은 0.021 ~ 0.041 log2 —")
print(f"{'문턱보다 작습니다.' if 0.041 < need else '문턱 언저리입니다.'}")

High school집합 검정의 검정력은 다르다

다행히 집합 검정 은 개별 검정보다 검정력이 훨씬 높다.

	개별 유전자	452개 집합
2.8% 를 검출	거의 불가능	가능
이유	변동이 큼	평균의 표준오차가 √452 로 줄어듦

√n 의 힘

유전자 452개의 평균을 내면 표준오차가 √452 ≈ 21배 줄어든다.

그러니 개별로는 안 보이는 2.8% 도 집합으로는 유의하게 잡을 수 있다.

작은 효과를 보려면 관측을 늘리는 것이 아니라 모아서 봐야 한다

결론이 분석 선택에 얼마나 흔들리나

3강에서 "CPM 대신 다른 정규화를 쓰면 결론이 바뀌는지 18강에서 확인하겠다" 고 했습니다. 지금 확인합니다. 두 가지를 바꿔 봅니다.

배경 — 나머지 전부 대신 발현량을 맞춘 유전자들
정규화 — CPM 대신 median-of-ratios(DESeq2 방식)

표적이 고발현 유전자에 몰려 있었다면 그것만으로 이동이 생길 수 있습니다. 아니었습니다.

Python Runs in your browser

import mi
import numpy as np, pandas as pd
from scipy import stats

d = mi.expressed()
tgt = [g for g in mi.targets_of(mi.FAM34) if g in d.index]

# ① 발현량을 맞춘 배경 — 표적이 우연히 고발현 쪽에 몰려 있을 가능성을 지운다
q = pd.qcut(np.log10(d.baseCPM), 10, labels=False)
rng = np.random.default_rng(20260821)
pick = []
for b in range(10):
    need = int((q.loc[tgt] == b).sum())
    pool = [g for g in d.index if q.loc[g] == b and g not in set(tgt)]
    pick += list(rng.choice(pool, size=min(len(pool), need * 10), replace=False))

mb = d.loc[pick, "logFC"]
p = stats.mannwhitneyu(d.loc[tgt, "logFC"], mb, alternative="less")[1]
print(f"발현량 맞춘 배경 {len(mb):,}개")
print(f"  표적 {d.loc[tgt,'logFC'].mean():+.4f}  배경 {mb.mean():+.4f}  "
      f"차이 {d.loc[tgt,'logFC'].mean() - mb.mean():+.4f}  p = {p:.3f}")
print()
print("배경을 바꿔도 차이의 크기와 방향이 거의 같습니다 — 발현량 편향 때문은 아닙니다.")

정규화를 바꿔도 결론이 그대로면, 그 결론은 방법이 아니라 자료에서 온 것입니다.

Python Runs in your browser

import mi
import numpy as np, pandas as pd
from scipy import stats

mr = mi.mrna()
MRWT, MRKD = mi.MRWT, mi.MRKD

# ② median-of-ratios (DESeq2 방식) — 표본마다 '전형적인 비율' 을 크기 인자로 삼는다
X = mr[mr.min(axis=1) > 0]
lg = np.log(X)
ref = lg.mean(axis=1)                       # 기하평균 기준 표본
size = np.exp(lg.sub(ref, axis=0).median(axis=0))
print("크기 인자 :", {k: round(v, 3) for k, v in size.items()})

norm = mr / size
l2 = np.log2(norm + 1)
d2 = pd.DataFrame({"logFC": l2[MRKD].mean(axis=1) - l2[MRWT].mean(axis=1),
                   "baseCPM": mi.cpm(mr).mean(axis=1)})
d2 = d2[d2.baseCPM >= 1]

t = mi.targets(); t34 = t[t.family == mi.FAM34].copy()
t34["PCT"] = pd.to_numeric(t34.PCT, errors="coerce")
strong = t34[t34.site.isin(["8mer", "7mer-m8"])].groupby("gene")["PCT"].max()
sets = {"전체 표적": [g for g in set(t34.gene) if g in d2.index],
        "PCT > 0.5": [g for g in strong[strong > .5].index if g in d2.index]}

for name, genes in sets.items():
    bg = d2.drop(index=[g for g in set(t34.gene) if g in d2.index])["logFC"]
    delta = d2.loc[genes, "logFC"].mean() - bg.mean()
    p = stats.mannwhitneyu(d2.loc[genes, "logFC"], bg, alternative="less")[1]
    print(f"  {name:<10} n={len(genes):>4}  이동 {delta:+.4f}  p = {p:.3f}")
print()
print("이동의 크기는 CPM 으로 얻은 −0.021 / −0.041 과 사실상 같습니다.")
print("그런데 PCT > 0.5 의 p값만 0.052 에서 0.044 로 문턱을 넘었습니다 —")
print("크기는 그대로인데 판정만 뒤집힌 것입니다. p값이 얼마나 무른 기준인지 보여 줍니다.")

High school정규화를 바꾸면 결론이 바뀌나

3강에서 미뤄 둔 확인이다. CPM 대신 다른 정규화를 쓰면 어떻게 되나?

결과	해석
결론이 같음	튼튼한 결과 — 방법에 의존하지 않음
결론이 바뀜	결과가 정규화의 산물

이것을 민감도 분석이라 한다

임의의 선택을 여럿 해 보고 어느 선택에서도 살아남는 것 만 결론으로 쓴다.

이 강의에서 반복되는 원칙이다 — 문턱, 표적 목록, 비교 집합, 정규화. 전부 바꿔 보고 확인 한다.

선택을 해야 한다면 여러 선택에서 살아남는 것만 믿는다

그리고 생물학 쪽 이유들

통계 말고도, 효과가 작을 수밖에 없는 이유가 여럿 있습니다.

녹다운이 절반짜리

Ddx54 는 43% 만 줄었습니다(6강). 남은 57%가 계속 일하니, 하류 효과도 그만큼 깎입니다.

번역 억제는 안 보인다

miRNA 는 mRNA 를 분해하기도 하지만 번역만 막기도 합니다. 후자는 RNA-seq 에 흔적을 남기지 않습니다.

예측 표적의 상당수는 가짜

13강에서 본 대로 예측은 가설입니다. 가짜가 섞인 집합으로 검정하면 신호가 희석됩니다.

자리 경쟁

miR-21 하나가 전체 miRNA 의 15% 입니다(4강). Argonaute 자리를 두고 다투는 판에서 miR-34 가 2.4 배 늘어도 실제 결합은 그만큼 안 늘 수 있습니다.

🎮 검정력 실험실

표본 수와 효과 크기를 옮기면서, 어떤 조합이라야 잡을 수 있었는지 확인하세요.

High school가짜가 섞인 집합으로 검정하면

13강에서 본 대로 예측은 가설 이다. 가짜가 섞인 집합으로 검정하면 신호가 희석 된다.

그럼 어떻게 개선하나

방법	효과
보존도로 거르기	가짜 감소 — 신호 증가
8mer 만 쓰기	정확도 상승 · 수는 감소
CLIP 자료 사용	실제 결합 자리 — 가장 정확
발현되는 유전자만	발현 안 되면 표적일 수 없음

맞바꿈이 있다

거를수록 정확 해지지만 수가 줄어든다. 수가 줄면 검정력이 떨어진다.

가장 좋은 지점은 중간 어딘가 에 있고, 그것을 찾으려면 여러 문턱에서 해 봐야 한다.

정확도와 검정력이 반대로 움직인다 — 최적점은 계산이 아니라 탐색으로 찾는다

🤔 Check yourself

80% 검정력에 필요한 이동이 0.048 log2 인데 관측된 이동이 0.041 log2 라면?

🤔 Check yourself

정규화를 CPM 에서 median-of-ratios 로 바꿔도 결과가 거의 같았다는 사실이 뜻하는 것은?

🤔 Check yourself

miRNA 억제의 흔적이 mRNA-seq 에 덜 남는 생물학적 이유는?