19강 / 20강

실습 종합 — /til 의 12개 암종을 다시 검정한다

이 사이트의 실제 결과에 14강과 15강을 적용해 본다

/til 강의가 TCGA 슬라이드 5,202장에서 낸 결과가 있습니다. 암종 12개에서 각각 종양침윤림프구 상위군과 하위군의 생존을 로그순위검정한 값이에요.

그 강의는 그 표를 만드는 데까지 갔습니다. 우리는 그 표에 14강(다중검정)과 15강(FDR)을 얹어 봅니다. 심사관이 하는 일과 같은 일입니다.

고등학생배운 것을 전부 대 보는 시간

19강은 기말고사 같은 강입니다. /til 의 12개 암종 결과를 다시 검정합니다.

쓰이는 것을 세어 보면

배운 것	어느 강
생존분석 · 로그순위	16강
다중검정	14강
FDR	15강
순열검정	12강
p 값의 정확한 뜻	9강

스무 강이 한 물음에 모인다

그 물음

12번 검정해서 3개가 유의했다 — 이게 많은 건가?

16강에서 던져 두었던 물음입니다. 이제 제대로 답합니다.

답하는 방법 세 가지

방법	묻는 것
기대치와 비교	0.6개 기대인데 3개 — 다섯 배
이항분포	12번 중 3개 이상이 우연일 확률
순열	실제로 섞어서 3개 이상이 몇 번 나오나

세 방법이 비슷한 답을 내면 믿을 만하죠. 12강의 그 검증 방식입니다.

그리고 정직한 자료

note 가 "위 열두 줄은 전부 실제 값" 이라고 적습니다. /til 이 TCGA 슬라이드 5,202장에서 계산한 값이에요.

지어낸 숫자가 한 줄도 없습니다. 그리고 출처가 파일에 적혀 있어요.

먼저 자료를 봅니다. z 의 부호가 방향이고 크기가 강도입니다.

Python 브라우저에서 실행

# 1. /til 의 12개 암종 결과를 그대로 옮겨 온다
import numpy as np

# (암종, 상위군 n, 하위군 n, 로그순위 z, p) - /til 이 계산한 값 그대로
rows = [
    ("BLCA", 149, 149, -0.249, 0.803430),
    ("BRCA", 479, 479, -2.390, 0.016865),
    ("CESC", 117, 117, -2.882, 0.003956),
    ("COAD", 213, 212, -0.962, 0.335841),
    ("LUAD", 234, 234, -0.905, 0.365280),
    ("LUSC", 197, 197, -0.963, 0.335699),
    ("PAAD",  85,  85,  0.631, 0.527882),
    ("PRAD", 167, 167,  1.247, 0.212390),
    ("READ",  76,  76, -0.942, 0.346370),
    ("SKCM", 195, 194, -4.382, 0.000012),
    ("STAD", 174, 173, -0.161, 0.872412),
    ("UCEC", 230, 229,  0.184, 0.853916),
]
print(f"{'암종':6} {'상위 n':>7} {'하위 n':>7} {'z':>8} {'p':>10}")
for t, nh, nl, z, p in rows:
    mark = "  *" if p < 0.05 else ""
    print(f"{t:6} {nh:7d} {nl:7d} {z:8.3f} {p:10.6f}{mark}")
print()
print("z 가 음수면 TIL 이 많은 쪽이 더 오래 살았다는 뜻이다.")
print("12개 중 z 가 양수인 것은 PAAD·PRAD·UCEC 셋뿐이고, 셋 다 유의하지 않다.")
print("SKCM(흑색종)의 z = -4.38 이 가장 크다 - 면역이 잘 듣는 암으로 알려진 것과 맞는다.")

고등학생12개 암종을 다시 봅니다

/til 이 한 일을 정리하면 이렇습니다.

단계	무엇
자료	TCGA 전체슬라이드 5,202장 (환자 4,751명)
측정	종양침윤림프구(TIL)를 정량
나눔	암종마다 상위군 / 하위군
검정	로그순위검정 (16강)
결과	12줄 — 그중 3개가 p<0.05

보정 없이 읽으면

"3개 암종에서 TIL 이 생존과 관련 있다". 논문에 이렇게 쓰면 틀린 건 아닙니다.

14강을 지나온 눈으로 읽으면

12번 던졌는데 3개면 많은 건가?

기대치가 0.6개 니까 다섯 배죠. 많아 보입니다.

그런데 여기서 또 물어야 합니다

"다섯 배" 가 얼마나 드문 일인가?

기대치가 0.6 이면 1개나 2개는 흔합니다. 3개가 얼마나 드문지는 계산해 봐야 알아요.

"기대보다 많다" 만으로는 부족하다 — 얼마나 드문지를 재야 한다

이게 이 강의의 정신입니다

한 단계 더 물어보는 것. 그리고 계산해 보는 것.

"많아 보인다" 는 느낌이고, "우연일 확률 2%" 는 근거입니다.

같은 자료, 세 가지 답. 틀린 답이 있는 게 아니라 묻는 것이 다릅니다.

Python 브라우저에서 실행

# 2. 12개 전부에 보정을 걸어 본다
import numpy as np

# /til 의 survival 표에서 p 값만 - 위젯이 읽는 값과 같다
tumors = ["BLCA","BRCA","CESC","COAD","LUAD","LUSC","PAAD","PRAD","READ","SKCM","STAD","UCEC"]
ps = np.array([0.803430, 0.016865, 0.003956, 0.335841, 0.365280, 0.335699,
               0.527882, 0.212390, 0.346370, 0.000012, 0.872412, 0.853916])
K = len(ps)

print(f"검정 {K}개 · 보정 없이 p<0.05 인 것: {(ps<0.05).sum()}개")
print(f"아무 일도 없다면 기대되는 수: {K*0.05:.2f}개")
print()

# 본페로니
bonf = 0.05 / K
print(f"본페로니 문턱 0.05/{K} = {bonf:.5f}")
print(f"  통과: {(ps<bonf).sum()}개 -> {[t for t,p in zip(tumors,ps) if p<bonf]}")
print()

# 벤자미니-호크버그
order = np.argsort(ps)
sp = ps[order]
below = sp <= (np.arange(1, K+1)/K) * 0.05
cut = np.max(np.where(below)[0]) if below.any() else -1
keep = set(order[:cut+1]) if cut >= 0 else set()
print(f"BH q<0.05")
print(f"  통과: {len(keep)}개 -> {[tumors[i] for i in sorted(keep)]}")
print()
print("보정 없이 3개였던 것이 두 보정 모두에서 2개가 된다.")
print("떨어지는 것은 BRCA (p=0.0169) 다 - 12번 검정했다는 사실을")
print("셈에 넣으면 그 정도로는 부족하다.")
print()
print("여기서는 BH 와 본페로니가 같은 답을 냈다. 검정이 12개뿐이라 그렇다 -")
print("347개나 2만 개였다면 둘이 크게 갈린다(15강).")

고등학생'몇 개냐' 와 '어느 것이냐' 는 다른 물음

캡션의 이 문장이 이 강의 전체에서 가장 중요한 구별일지 모릅니다.

통계는 앞엣것에만 답한다

두 물음

물음	답할 수 있나
"진짜 신호가 몇 개쯤 있나"	답할 수 있다
"어느 것이 진짜인가"	못 한다

비유 — 상자 안의 불량품

제품 100개 중 5개가 불량이라는 걸 통계로 알아냈습니다.

그런데 어느 5개인지는요? 모릅니다.

알아내려면 하나씩 뜯어 봐야 합니다 — 그게 실험이에요.

통계는 "몇 개인지" 를 알려 주고, 실험이 "어느 것인지" 를 알려 준다

그래서 탐색 연구의 역할이 정해집니다

단계	하는 일	도구
탐색	2만 개 → 50개로 좁힌다	통계 (FDR)
확증	50개 중 진짜를 찾는다	실험

통계로 후보를 좁히고, 실험으로 확인합니다. 어느 하나만으로는 안 돼요.

퀴즈의 답

본문 퀴즈 — 12개 중 3개가 유의했고, 순열로 계산한 '3개 이상 나올 확률' 이 0.02 였다면?

말할 수 있는 것: "전체적으로 신호가 있다".
말할 수 없는 것: "그 3개가 진짜다".

전체에 신호가 있다 ≠ 고른 것들이 진짜다

그 3개 중 한두 개는 우연일 수 있고, 유의하지 않은 9개 중에 진짜가 숨어 있을 수도 있습니다.

'몇 개가 진짜냐' 와 '어느 것이 진짜냐' 는 다른 질문입니다. 통계는 앞엣것에만 답합니다.

Python 브라우저에서 실행

# 3. 순열로 물어본다 - '12개 중 3개' 는 우연으로 설명되나
import numpy as np
rng = np.random.default_rng(151)

K, observed_hits = 12, 3
REP = 200000
# 귀무가설: 12개 전부 효과 없음 -> p 는 균등분포 (9강)
hits = (rng.random((REP, K)) < 0.05).sum(axis=1)

print(f"아무 암종에서도 효과가 없다면, {K}번 검정에서 p<0.05 가 몇 개 나오나")
for k in range(0, 5):
    print(f"  {k}개일 확률 {(hits==k).mean()*100:6.2f}%")
print()
print(f"{observed_hits}개 이상 나올 확률 = {(hits>=observed_hits).mean():.4f}")
print()
print("2% 안팎이다. '전부 우연' 로는 잘 설명되지 않는다.")
print("그렇다고 세 개가 전부 진짜라는 뜻도 아니다 -")
print("어느 것이 진짜인지는 이 계산이 말해 주지 않는다.")

고등학생이 강의가 실제 자료만 쓰는 이유

note 가 자료의 출처를 아주 꼼꼼히 밝힙니다. 왜 이렇게까지 하나 싶을 수 있어요.

지어낸 숫자는 한 줄도 없습니다

첫 번째 이유 — 확인할 수 있다

어느 강의가 어느 자료로 계산했는지 적어 두면 가서 확인할 수 있습니다.

static/data/stat_facts.json 의 _source 에 출처가 적혀 있어요.

두 번째 이유 — 틀리면 드러난다

출처가 있으면 누군가 확인하고 잡아낸다

출처 없는 숫자는 틀려도 아무도 모릅니다. 그래서 조용히 퍼져 나가요.

세 번째 이유 — 진짜 자료는 지저분합니다

지어낸 자료는 보여 주고 싶은 것만 보여 줍니다. 진짜 자료에는 예상 못 한 것이 들어 있어요.

지어낸 자료	진짜 자료
깔끔한 결론	애매한 결과가 섞인다
배우기 쉽다	실제와 같다

깔끔한 예제만 보면 진짜를 만났을 때 당황한다

그리고 코드 셀의 한계도 적습니다

note 가 "코드 셀은 브라우저 안에서만 돌아 바깥 파일을 못 읽는다" 고 적고, 그래서 값을 적어 넣었다고 밝힙니다.

"어떻게 했는지" 를 숨기지 않는 것 — 이 강의가 계속 지키는 태도입니다.

한계를 적는 것이 신뢰를 얻는 방법이다

여러분이 보고서를 쓸 때도 그대로 쓰세요. "이러이러해서 이렇게 했다" 를 적으면 읽는 사람이 어디까지 믿을지 판단할 수 있습니다.

🤔 확인 문제

12개 암종 중 3개가 p<0.05 였고, 순열로 계산한 '3개 이상 나올 확률' 이 0.02 였습니다. 말할 수 있는 것은?