19강 / 20강

GSEA ② — 우연히도 이만한 점수가 나올까

순열검정으로 만드는 귀무분포, 그리고 NES

EMT 팀의 ES 가 −0.58 이 나왔습니다. 이게 큰 값인가요?

말할 수 없습니다. 비교할 기준이 없으니까요. 33명을 아무렇게나 뽑아도 어느 정도의 ES 는 나옵니다. 그래서 물어야 할 진짜 질문은 이것입니다 —

아무 유전자나 33개 뽑았을 때 나오는 ES 와 비교하면 −0.58 은 얼마나 특별한가?

답을 구하는 방법은 소박합니다. 실제로 아무 유전자나 33개 뽑아 봅니다. 1,000번. 이것을 순열검정(permutation test) 이라고 합니다.

rng = np.random.default_rng(seed) null = np.array([es(rng.choice(N, len(hits), replace=False)) for _ in range(nperm)])

rng.choice(N, k, replace=False) — 0부터 N−1 중에서 중복 없이 k 개를 무작위로 고릅니다. 같은 크기의 가짜 세트를 1,000개 만들어 각각의 ES 를 구하면, "우연히 나올 수 있는 ES 의 분포" 가 만들어집니다. 이것을 귀무분포 라고 해요.

고등학생우연히도 이만한 점수가 나올까

18강에서 ES 를 구했습니다. 그런데 이게 큰 값인가? 를 어떻게 알죠?

비교할 기준이 없다 — 만들어야 한다

순열검정 — /stat 12강의 그것

가짜 팀을 잔뜩 만들어 봅니다.

같은 크기의 팀을 무작위로 뽑는다
그 팀의 ES 를 계산한다
1,000번 반복한다
진짜 팀의 ES 가 그중 몇 번째로 극단적인가?

가짜 팀 1,000개가 "아무 일도 없었다면" 의 분포

비유 — 우리 반이 특별한가

우리 반 평균이 75점 입니다. 좋은 건가요?

확인하는 법 — 전교생을 무작위로 30명씩 뽑아 평균을 내 봅니다. 1,000번요.

결과	결론
75점 넘는 무작위 반이 많다	평범하다
75점 넘는 무작위 반이 거의 없다	특별하다

비교할 것을 만들어서 견준다

이 발상이 왜 강력한가

공식이 필요 없습니다. ES 가 어떤 분포를 따르는지 몰라도 됩니다.

그냥 많이 해 보면 되니까요.

고등학생seed — 매번 같은 무작위

note 가 seed 를 설명합니다. 모순처럼 들리는 말이에요 — "같은 무작위".

컴퓨터의 무작위는 진짜 무작위가 아니다

어떻게 만드나

시작 숫자(seed)를 주면 정해진 규칙으로 무작위처럼 보이는 수열을 만듭니다.

seed	나오는 수열
0	항상 같은 수열 A
1	항상 같은 수열 B
안 주면	매번 다른 수열

seed 를 고정하면 결과가 재현된다

왜 중요한가

1강의 그 이야기 — 재현입니다.

seed 없이	seed 고정
돌릴 때마다 결과가 조금씩 다르다	언제 돌려도 같은 결과
"왜 다르지?" 하고 헤맨다	확인이 쉽다

무작위를 쓰면서도 재현할 수 있게 만드는 장치

비유 — 카드를 섞는 방법을 적어 두기

카드를 섞고 나눴는데 같은 판을 다시 만들고 싶습니다.

"어떻게 섞었는지" 를 적어 두면 됩니다. seed 가 그 기록이에요.

다만 주의

seed 를 여러 개 시험해 보고 마음에 드는 걸 고르면 그건 p 해킹입니다(/stat 11강).

seed 는 재현을 위한 것이지 결과를 고르는 것이 아니다

NES — 눈금 맞추기

마지막 한 단계가 남았습니다. ES 를 그대로 쓰면 세트끼리 비교할 수 없습니다. 세트 크기가 다르면 우연히 나오는 ES 의 크기도 달라지기 때문이에요 (작은 세트일수록 극단적인 값이 잘 나옵니다).

same = null[null >= 0] if e >= 0 else null[null < 0] mu = np.abs(same).mean() return e / (mu + 1e-9) # NES = 내 ES ÷ 같은 방향 우연 ES 의 평균 크기

NES(Normalized Enrichment Score)는 "우연히 나오는 크기의 몇 배인가"입니다. 그래서 세트 크기와 무관하게 비교할 수 있어요.

부호가 같은 것끼리만 비교하는 null[null >= 0] if e >= 0 else ... 도 중요합니다. 양수 ES 와 음수 ES 는 분포 모양이 다르기 때문에, 내 ES 와 같은 방향의 우연 값들과 견주어야 공정합니다.

순열검정을 처음부터 끝까지 눈으로 봅니다. 300번만 돌려도 그림이 보입니다.

Python 브라우저에서 실행

import numpy as np
import bio

order, rk = bio.ranked()
N = len(order); ix = {g: i for i, g in enumerate(order)}
r = np.abs(rk)

def es(h):
    tag = np.zeros(N); tag[h] = r[h]
    Ph = np.cumsum(tag) / tag.sum()
    miss = np.ones(N); miss[h] = 0
    Pm = np.cumsum(miss) / (N - len(h))
    dd = Ph - Pm
    return dd[np.argmax(np.abs(dd))]

hits = np.array([ix[g] for g in bio.HALLMARK["EMT"].split() if g in ix])
진짜 = es(hits)

rng = np.random.default_rng(0)
null = np.array([es(rng.choice(N, len(hits), replace=False)) for _ in range(300)])

같은방향 = null[null >= 0] if 진짜 >= 0 else null[null < 0]
mu = np.abs(같은방향).mean()

print(f"EMT 진짜 ES        : {진짜:+.3f}")
print(f"가짜 팀 300개의 ES : 최소 {null.min():+.3f} · 최대 {null.max():+.3f}")
print(f"같은 방향(음수) {len(같은방향)}개의 평균 크기: {mu:.3f}")
print(f"NES = {진짜:.3f} / {mu:.3f} = {진짜/mu:+.2f}")
print()
극단 = int((np.abs(null) >= abs(진짜)).sum())
print(f"가짜 팀 300개 중 진짜만큼 극단적인 것: {극단}개  → 경험적 p ≈ {극단/300:.3f}")

고등학생300번만 돌려도 그림이 보입니다

캡션이 말합니다 — "순열검정을 처음부터 끝까지 눈으로 봅니다. 300번만 돌려도 그림이 보입니다."

몇 번 돌려야 충분한가

횟수	p 값 최솟값	충분한가
100	0.01	거칠다
300	0.003	모양은 보인다
1,000	0.001	보통 이 정도

/stat 12강의 그것 — 섞기 횟수가 해상도를 정한다

왜 300으로 보여 주나

빨라서입니다. 이 페이지에서 돌아가야 하니까요.

그리고 모양을 이해하는 데는 300번이면 충분해요. 정확한 p 값이 필요할 때만 늘리면 됩니다.

배울 때는 빠르게, 보고할 때는 정확하게

귀무분포를 눈으로 보는 것

이게 가장 좋은 교육입니다.

공식으로 배우면	그려 보면
"p 값은 꼬리 넓이" — 추상적	실제 분포와 내 값의 위치가 보인다

p 값이 어디서 나오는지가 눈에 보인다

/stat 8강에서 "공식 없이 p 값을 만들었다" 고 했죠. 여기서는 실제 자료로 그걸 합니다.

그리고 30초쯤 걸립니다

코드가 "30초쯤 걸립니다" 라고 미리 알려 줍니다. 친절한 표시예요 — 안 그러면 멈춘 줄 알거든요.

🎮 귀무분포와 견주어 보기

가짜 팀들의 ES 분포(히스토그램) 위에 진짜 ES 를 세워 봅니다. 순열 횟수를 늘리면 분포가 어떻게 매끄러워지는지도 보세요.

네 경로 중 셋이 뚜렷한 음수. 이 결과를 20강에서 채점합니다. (30초쯤 걸립니다)

Python 브라우저에서 실행

import numpy as np
import bio

order, rk = bio.ranked()

print("GSEA NES (음수 = KD에서 하향 = 논문과 일치):")
nes = {}
for nm, s in bio.HALLMARK.items():
    v = bio.preranked_gsea(rk, order, s.split(), nperm=300)
    nes[nm] = v
    print(f"  {nm:14s} NES={v:+.2f}   {'DOWN in KD ✓' if v < 0 else 'UP in KD'}")

고등학생MYC_TARGETS 만 왜 양수일까

note 가 예상과 다른 결과를 다룹니다. 숨기지 않는 태도예요.

네 경로 중 셋은 음수인데 하나만 양수

이상하지 않나

15강에서 Myc 자체는 내려갔다고 확인했습니다. 그런데 Myc 표적 유전자들은 올라갔어요.

전사인자가 내려갔는데 표적은 올라갔다

가능한 설명들

설명	내용
시간차	Myc 이 내려간 지 얼마 안 돼 표적은 아직
보상	세포가 보충하려고 다른 경로를 켰다
세트가 넓다	MYC_TARGETS 에 다른 조절을 받는 유전자가 섞여 있다
이름 맞추기 문제	17강의 그 한계

이 자료로는 어느 것인지 가릴 수 없다

그래서 어떻게 하나

그대로 적습니다. "셋은 맞았고 하나는 반대였다" 고요.

어긋난 것을 숨기지 않는 것이 이 사이트의 규칙

/tcell 19강에서 CD4 소진이 반대로 나온 것을 그대로 적었던 것과 같습니다.

그리고 이게 오히려 신뢰를 줍니다

전부 맞았다는 결과가 오히려 수상해요. /stat 16강의 순환논증 이야기입니다 —

너무 완벽하면 의심스럽다

3/4 가 맞은 결과가 더 현실적이고 더 믿을 만합니다.

🤔 확인 문제

rng.choice(N, k, replace=False) 에서 replace=False 는?

🤔 확인 문제

NES 가 ES 대신 필요한 이유는?

🤔 확인 문제

np.random.default_rng(0) 처럼 seed 를 고정하는 이유는?