17강 / 20강

우리가 낼 수 있었던 최고점 — 천장을 계산한다

뽑기 잡음만으로 정해지는 상한 0.91 · 우리는 0.76, 즉 그 84%

14강에서 r = 0.762 를 얻었습니다. 좋은 걸까요?

이렇게 물으면 답할 수 있습니다. 우리 방법이 완벽했다면 몇 점이 나왔을까?

공개 표의 비율이 진짜 정답이라고 치고, 거기서 우리 깊이만큼(5,283개) 무작위로 뽑기만 해 본다. 그 결과와 정답의 상관 — 그것이 천장이다.

이보다 잘 나올 수는 없습니다. 순전히 적게 뽑아서 생기는 잡음의 한계니까요.

모의실험으로 상한을 구하는 것 — 통계에 자신이 없을 때 가장 믿을 만한 방법입니다.

Python 브라우저에서 실행

import bu
import numpy as np
from scipy import stats

T = bu.table()
cpm = bu.cpm(bu.published())
genes = T.index
truth = cpm["WT_DDX54_1"].reindex(genes).fillna(0).values
prob = truth / truth.sum()
total = int(T["WT_1"].sum())

print(f"우리가 붙인 read : {total:,}개")
print(f"이 비율에서 {total:,}개를 무작위로 뽑아 보면…")
print()

rng = np.random.default_rng(20260822)
rs = []
for i in range(20):
    sim = rng.multinomial(total, prob)
    rs.append(stats.pearsonr(np.log2(sim + 1), np.log2(truth + 1))[0])

print(f"천장 (20번 평균) : r = {np.mean(rs):.3f}  ± {np.std(rs):.3f}")
print(f"우리 실제 점수   : r = 0.762")
print(f"→ 천장의 {0.762/np.mean(rs)*100:.0f} %")

남은 16%는 어디서 왔나

천장 0.91, 우리 0.76. 0.15 만큼은 뽑기 잡음이 아니라 우리 방법이 잘못한 것입니다. 후보는 셋입니다.

원인	크기	어디서 봤나
유전자마다 전사체를 하나만 골랐다	길이 편향 −0.30	16강
여러 유전자에 걸린 read 를 먼저 걸린 쪽에 줬다	0.85%	12강
패널 밖 유전자의 read 가 패널로 잘못 붙었다	?	—

첫 번째가 가장 큽니다. Vim·Rps14 가 0 으로 나왔던 사고(패널을 만들 때 retained_intron 전사체를 골라 버린 것)를 protein_coding 우선으로 고쳐 r 이 0.57 에서 0.76 으로 올랐거든요. 참조를 어떻게 고르느냐가 알고리즘보다 크게 작용합니다.

고등학생천장을 계산하는 방법

계산법은 놀랄 만큼 단순하다.

단계	하는 일
1	공개 표를 참값 으로 놓는다
2	그 참값에서 44,000개를 무작위로 뽑는다
3	뽑은 표와 참값의 상관을 잰다
4	여러 번 반복해 평균을 낸다

이 절차에는 정렬도, k-mer 도, 유전자 이름도 없다. 순수하게 뽑기만 한다. 그래서 나온 값이 "알고리즘이 완벽할 때의 상한" 이다.

이 발상의 이름

통계학에서 귀무 모형 또는 널 모형 이라 부르는 것의 한 형태다. "우리가 하려는 일 말고 아무것도 안 했을 때 무슨 값이 나오나" 를 계산해서 기준선으로 삼는다. /stat 의 핵심 도구다.

기준선은 관찰하는 게 아니라 만들어 내는 것이다

천장 자체가 깊이의 함수입니다. 논문의 깊이에서는 천장이 거의 1 입니다.

Python 브라우저에서 실행

import bu
import numpy as np
from scipy import stats

# 깊이를 무한히 늘리면 천장은 1 에 가까워지나 — 확인해 봅니다
T = bu.table(); cpm = bu.cpm(bu.published())
truth = cpm["WT_DDX54_1"].reindex(T.index).fillna(0).values
prob = truth / truth.sum()
rng = np.random.default_rng(1)

print(f"{'뽑는 개수':>12}{'천장 r':>10}")
print("-" * 24)
for n in [1000, 5283, 20000, 100000, 1000000, 10000000]:
    sim = rng.multinomial(n, prob)
    r = stats.pearsonr(np.log2(sim + 1), np.log2(truth + 1))[0]
    print(f"{n:>12,}{r:>10.3f}")
print()
print("2,700만 개쯤 뽑으면 천장이 1 에 붙습니다.")
print("공개 표끼리 r = 0.987 인 것이 바로 그 자리예요.")

고등학생천장 0.91, 우리 0.76 — 그 84%

	값
뽑기 잡음만으로 정해지는 천장	0.91
우리가 얻은 값	0.76
천장 대비	84%

이제 두 가지를 알게 됐다

첫째, 0.24 의 부족분 중 0.09 는 애초에 못 메운다. read 를 44,000개만 썼기 때문이다. 코드 탓이 아니다.

둘째, 나머지 0.15 는 우리 코드 탓 이다. 다중 매핑, 이어붙이기, 불일치 처리 — 12강에서 목록으로 적었던 것들. 개선의 여지가 정확히 여기에 있다.

개선 방향이 정해진다

read 를 더 쓰면 천장 자체가 올라간다. 코드를 고치면 천장에 더 가까워진다. 어느 쪽이 더 이득인지 를 이제 숫자로 판단할 수 있다.

"부족하다" 를 "얼마나, 왜 부족하다" 로 바꾸면 다음에 할 일이 정해진다

🎮 천장 실험실

깊이를 옮기며 천장과 우리 점수가 어떻게 벌어지는지 보세요.

고등학생'천장 대비 몇 %' 라는 습관

이 사고방식은 RNA-seq 밖에서도 그대로 쓰인다.

분야	천장에 해당하는 것
기계학습	베이즈 오차 · 사람 전문가의 성적
측정 기기	이론적 검출 한계
여론조사	표본 크기가 정하는 오차 한계
시험 성적	만점 · 문항 신뢰도

왜 이 습관이 중요한가

천장을 모르면 두 가지 실수를 한다. 이미 한계에 닿았는데 더 노력하거나, 아직 한참 남았는데 만족하거나.

기계학습에서 "정확도 92%" 가 좋은지 나쁜지는 사람이 그 문제를 얼마나 잘 푸는지에 달렸다. 사람이 95% 면 훌륭한 모형이고, 사람이 99.9% 면 형편없는 모형이다. /ml 에서 같은 이야기가 나온다.

성능은 절대값이 아니라 도달 가능한 최대치와의 비로 말한다

🤔 확인 문제

'천장' 을 모의실험으로 구하는 방법은?

🤔 확인 문제

천장 대비 84% 라는 표현이 0.762 보다 나은 이유는?

🤔 확인 문제

참조 전사체를 retained_intron 에서 protein_coding 으로 바꾸자 r 이 0.57→0.76 으로 올랐습니다. 여기서 얻을 교훈은?