15강 / 20강

【실습】 논문의 2×2 에서 시너지를 계산한다

효과는 아주 크다 · 그런데 p 값을 붙일 수 없다

DDX54 논문의 마우스 실험은 2×2 입니다 — Ddx54 를 녹다운했나 × 항-PD1 을 줬나.

대조        WT + 아이소타입
녹다운      Ddx54 KD + 아이소타입
항-PD1      WT + 항-PD1
병용        Ddx54 KD + 항-PD1

이 넷을 견주면 시너지를 잴 수 있습니다. 그런데 '시너지' 라는 말부터 정의해야 해요.

고등학생2×2 표에서 시너지를 본다

실험에서 조건 넷을 만든다: 아무것도 안 함 / A 만 / B 만 / A+B. 이 2×2 표 하나로 시너지를 판단한다.

	B 없음	B 있음
A 없음	대조	B 효과
A 있음	A 효과	A+B 효과

시너지의 정의

A+B 의 효과가 A 효과 + B 효과보다 크면 시너지다. 같으면 상가 작용, 작으면 길항이다.

그런데 "더하기" 를 어떻게 정의할지가 사실 애매하다. 종양 크기를 더하나, 억제율을 더하나, 로그를 취해 더하나? 정의에 따라 시너지 판정이 뒤집힐 수 있다.

시너지는 관찰이 아니라 정의에 의존하는 판정이다

먼저 눈으로 봅니다. 그다음 정의를 정하고 계산합니다.

Python 브라우저에서 실행

# 네 조건의 값을 본다 - 이웃 강의가 계산한 값
import cp

M = cp.facts()["mouse"]
print("출처:", M["src"])
print()
print(f"{'조건':<14}{'세포 수':>9}{'림프계 %':>10}")
for 라벨, n, v in zip(M["labels"], M["n_cells"], M["effect"]["림프계"]):
    print(f"{라벨:<14}{n:>9,}{v:>10.2f}  {'█' * int(v)}")
print()
print("병용에서만 크게 뜁니다. 눈으로도 보이지요.")
print("그런데 **'합보다 크다' 를 어떻게 정할까요?**")

하나의 자로 나온 결론은 믿지 않습니다. 셋 다 같은 방향이면 그때 믿어요.

Python 브라우저에서 실행

# 시너지를 세 가지 자로 재 본다
import cp

v = cp.facts()["mouse"]["effect"]["림프계"]
대조, 녹다운, pd1, 병용 = v

print(f"대조 {대조:.2f}%  녹다운 {녹다운:.2f}%  항-PD1 {pd1:.2f}%  병용 {병용:.2f}%")
print()

# ① HSA — 더 센 쪽 하나만큼은 나와야 한다 (가장 느슨한 기준)
hsa = max(녹다운, pd1)
print(f"① HSA (둘 중 센 쪽)        기대 {hsa:>6.2f}   관측 {병용:>6.2f}   {병용/hsa:>5.1f}배")

# ② 덧셈 — 대조 위로 얹힌 몫을 더한다
add = 대조 + (녹다운 - 대조) + (pd1 - 대조)
print(f"② 덧셈 (얹힌 몫을 더함)     기대 {add:>6.2f}   관측 {병용:>6.2f}   {병용/add:>5.1f}배")

# ③ 곱셈 — 각각의 배수를 곱한다 (블리스 독립에 가깝다)
mul = 대조 * (녹다운 / 대조) * (pd1 / 대조)
print(f"③ 곱셈 (배수를 곱함)        기대 {mul:>6.2f}   관측 {병용:>6.2f}   {병용/mul:>5.1f}배")
print()
print("**세 자 모두 시너지라고 말합니다.** 기대의 예닐곱 배예요.")
print("자를 바꿔도 결론이 안 바뀌면 - 그 결론은 자 선택 때문이 아닙니다.")

고등학생효과 크기를 먼저 본다

통계 검정에 들어가기 전에 효과가 얼마나 큰지 를 본다. 이 순서가 중요하다.

왜 순서가 중요한가

순서	결과
p 값을 먼저 보면	유의한 것만 눈에 들어옴 — 크기를 못 봄
효과 크기를 먼저 보면	의미 있는 차이인지 먼저 판단

효과가 아주 작아도 표본이 크면 p 값은 작아진다. 효과가 아주 커도 표본이 작으면 p 값은 크다. p 값은 효과의 크기를 말하지 않는다.

이 실습에서는

효과가 아주 크다. 눈으로 봐도 명백하다. 그런데도 다음 셀에서 보듯 p 값을 붙일 수 없다. 효과 크기와 통계적 검정이 서로 다른 이야기라는 것이 여기서 드러난다.

"크다" 와 "우연이 아니다" 는 다른 주장이고 다른 증거가 필요하다

비율 자료에서 '줄었다' 는 말은 절대량이 줄었다는 뜻이 아닙니다.

Python 브라우저에서 실행

# 다른 세포 종류에서도 그런가
import cp

M = cp.facts()["mouse"]["effect"]
print(f"{'세포 종류':<14}{'대조':>8}{'녹다운':>8}{'항-PD1':>8}{'병용':>8}{'덧셈 기대':>10}{'배수':>7}")
for 이름, v in M.items():
    대조, 녹다운, pd1, 병용 = v
    add = 녹다운 + pd1 - 대조
    배 = 병용 / add if add > 0 else float("nan")
    print(f"{이름:<14}{대조:>8.2f}{녹다운:>8.2f}{pd1:>8.2f}{병용:>8.2f}{add:>10.2f}{배:>7.1f}")
print()
print("림프계 · T세포 · NK 는 전부 같은 방향입니다.")
print("호중구는 **반대로** 줄어듭니다 - 병용에서 48.7% -> 17.8%.")
print()
print("조심할 것 - 이건 **비율**입니다. 하나가 늘면 다른 게 줄 수밖에 없어요.")
print("(조성 자료의 닫힘. `/immune` 강의가 CLR 로 다시 확인했습니다.)")

고등학생p 값을 못 붙이는 이유

논문의 그림에서 조건마다 막대가 하나씩 있다. 그런데 그 막대가 몇 마리에서 나온 것인가?

필요한 정보가 없다

필요한 것	논문에 있나
각 군의 개체 수 (n)	때때로 없음
개별 값 또는 표준편차	때때로 없음
독립적 반복인지	불명확한 경우가 많음

평균 막대 네 개만으로는 검정을 할 수 없다. 흩어짐을 모르면 차이가 우연인지 판단할 수 없다.

이것이 흔한 문제다

많은 논문 그림이 평균과 오차막대만 보여 준다. 오차막대가 표준편차인지 표준오차인지조차 안 쓰여 있는 경우도 있다. 둘은 √n 배 차이가 나는데.

그래서 요즘 학술지들은 개별 점을 다 찍으라 고 요구한다. n 이 몇인지, 분포가 어떤지가 그림 하나에 다 보이게.

평균만 있는 그림은 검증할 수 없는 그림이다

이제 가장 중요한 이야기입니다 — p 값을 못 붙입니다

효과는 큽니다. 세 자 모두 같은 방향입니다. 그런데 —

군마다 마우스가 한 마리씩입니다

세포는 37,585개지만 표본은 넷입니다. 세포 하나하나를 독립 표본으로 세면 가짜 반복(pseudoreplication) 이에요 — 같은 마우스에서 나온 세포들은 독립이 아닙니다.

「단일세포 면역지도 첫걸음」 이 정직한 순열검정을 해 봤습니다 — 표본 라벨을 섞는 것이 옳은 순열인데, 넷뿐이라 경우의 수가 몇 개 없습니다. 얻을 수 있는 가장 작은 p 값이 0.25 였어요.

곧 — 이 자료로는 어떤 p 값도 0.05 아래로 못 내려갑니다. 효과가 아무리 커도요. 표본 수가 상한을 정해 버렸습니다.

표본 수가 p 값의 상한을 정합니다. 효과 크기와 무관하게요.

Python 브라우저에서 실행

# 순열의 상한을 직접 세어 본다
import cp
from math import comb

M = cp.facts()["mouse"]
n = 4
print(f"표본 {n}개의 라벨을 섞는 경우의 수")
for k, 설명 in [(1, "하나 대 셋"), (2, "둘 대 둘")]:
    c = comb(n, k)
    print(f"  {설명:<10}{c:>3}가지  ->  가장 작은 p = 1/{c} = {1/c:.3f}")
print()
print(f"「단일세포 면역지도 첫걸음」이 실제로 얻은 가장 작은 p : {M['min_perm_p']}")
print("(한 조건을 나머지 셋과 견주는 갈래를 썼습니다 - 그래서 1/4 입니다.)")
print()
print("어느 갈래를 쓰든 표본이 넷이면 **0.05 아래를 만들 수가 없습니다.**")
print("적어도 표본이 몇 개 있어야 하는지 계산해 봅시다.")
print()
for n2 in [4, 5, 6, 8, 10]:
    c = comb(n2, n2 // 2)
    print(f"  표본 {n2:>2}개 -> 둘 대 둘 갈래 {c:>3}가지 -> 최소 p {1/c:.4f}"
          f"{'   <- 여기서부터 0.05 이하' if 1/c <= 0.05 else ''}")

고등학생그러면 이 결과를 어떻게 말해야 하나

말할 수 있는 것	말할 수 없는 것
보고된 값에서 효과 크기가 크다	통계적으로 유의하다
병용군이 단독군보다 크게 낮았다	이 차이가 우연일 확률은 x% 다
시너지의 방향이 일관된다	시너지가 확립되었다

정직한 서술의 예

"보고된 평균값에 따르면 병용군의 종양 부피가 단독군의 절반 이하였다. 다만 개체 수와 분산이 제시되지 않아 통계적 유의성은 평가할 수 없었다."

이렇게 쓰면 독자가 무엇을 알고 무엇을 모르는지 를 정확히 안다. "시너지가 확인되었다" 라고 쓰는 것보다 약해 보이지만, 실제로 아는 만큼만 말한 것 이다.

이 강의가 지키는 규칙

남의 자료를 다시 분석할 때는 원 자료에 있는 것 이상을 말하지 않는다. 그림에서 눈금을 읽어 숫자를 복원하는 것까지는 할 수 있어도, 없는 분산을 가정해서 검정을 만들어 내지는 않는다.

아는 만큼만 말하는 것이 결론을 약하게 만드는 게 아니라 믿을 만하게 만든다

🤔 확인 문제

시너지를 HSA · 덧셈 · 곱셈 세 가지로 잰 이유는?

🤔 확인 문제

이 실험으로 p < 0.05 를 만들 수 없는 이유는?

🤔 확인 문제

세포 37,585개를 독립 표본으로 세어 p 값을 구하면 안 되는 이유는?