20강 / 20강

독립재현 판정 — 우리가 직접 내리는 결론

체크리스트, 그리고 재현되지 않은 것까지 말하기

19강까지 왔습니다. 우리는 저자의 계산 결과를 한 번도 보지 않고 원자료에서 여기까지 왔어요. 이제 논문의 주장과 하나씩 맞춰 봅니다.

원자료정규화필터 차등발현GSEA판정

코드랩의 마지막 부분은 튜플의 리스트로 채점표를 만듭니다.

checks = [] checks.append(("Ddx54 녹다운", de.loc["Ddx54","logFC"] < 0)) └ 항목 이름 ┘ └ True / False ┘

각 항목이 (이름, 참거짓) 짝이고, < 0 비교의 결과가 곧바로 True 또는 False 가 됩니다. 그리고 파이썬에서 True 는 1, False 는 0 이므로 그냥 더하면 맞은 개수가 나옵니다.

ok = sum(v for _, v in checks) # True 를 1로 세어 합산

for _, v in checks 의 _ 는 "이 값은 안 쓸 거야"라는 관례입니다. 이름은 버리고 참거짓만 꺼내 더하는 거예요.

고등학생저자의 결과를 한 번도 보지 않고

본문의 첫 문장이 이 강의 전체를 요약합니다.

저자의 계산 결과를 한 번도 보지 않고 여기까지 왔다

우리가 한 일을 되짚으면

강	무엇을
2강	원자료를 받았다
3~4강	표를 다듬었다
5~7강	정규화했다
8~9강	확인하고 걸렀다
10~13강	통계를 냈다
14~19강	해석했다

18단계를 스스로 거쳐 결론에 닿았다

이게 왜 대단한가

논문을 읽은 것이 아니라 다시 해 본 겁니다.

읽기	재현하기
저자를 믿는다	확인한다
결론만 안다	과정을 안다
다른 자료엔 못 쓴다	도구가 손에 남는다

마지막이 진짜 이득이다 — 다른 연구에도 쓸 수 있다

이 20강의 코드를 다른 GEO 자료에 그대로 쓸 수 있습니다. 접근번호만 바꾸면 돼요.

그리고 이건 고등학생도 할 수 있습니다

특별한 장비도, 연구비도 필요 없습니다. 공개된 자료 + 브라우저 면 됩니다.

과학이 열려 있다는 것의 실제 의미

코드랩의 마지막 셀 그대로. 7/7 — 논문 Fig 6 의 방향이 전부 재현됩니다. (30초쯤 걸립니다)

Python 브라우저에서 실행

import numpy as np
import bio

de = bio.de()
order, rk = bio.ranked()
nes = {nm: bio.preranked_gsea(rk, order, s.split(), nperm=300)
       for nm, s in bio.HALLMARK.items()}

checks = []
checks.append(("Ddx54 녹다운",          de.loc["Ddx54", "logFC"] < 0))
checks.append(("Cd47 하향",             de.loc["Cd47",  "logFC"] < 0))
checks.append(("Cd38 하향",             de.loc["Cd38",  "logFC"] < 0))
checks.append(("Myc 유전자 하향",        de.loc["Myc",   "logFC"] < 0))
checks.append(("EMT 경로 하향",          nes["EMT"] < 0))
checks.append(("IL6-JAK-STAT3 하향",    nes["IL6_JAK_STAT3"] < 0))
checks.append(("TNFA-NF-kB 하향",       nes["TNFA_NFKB"] < 0))

ok = sum(v for _, v in checks)
print("항목별 재현 여부:")
for name, v in checks:
    print(f"  [{'O' if v else 'X'}] {name}")

verdict = "AGREE (재현됨)" if ok >= 6 else ("PARTIAL (부분 재현)" if ok >= 4 else "DISAGREE")
print(f"\n재현 {ok}/{len(checks)}  →  독립재현 판정: {verdict}")

고등학생7/7 — 논문 Fig 6 의 방향이 전부 재현됩니다

결과가 나왔습니다.

7가지 중 7가지 — 방향이 전부 맞았다

7/7 이 얼마나 드문가

15강에서 계산해 봤죠. 우연이라면 —

0.5⁷ = 1/128 ≈ 0.8%

1% 미만입니다. 우연으로 설명하기 어려워요.

그런데 조심할 것

이 계산은 7가지가 서로 독립일 때만 맞습니다. 그런데 같은 경로의 유전자들은 함께 움직여요.

독립이 아니면 0.8% 보다 흔하다

그래도 7/7 은 강한 결과입니다. 다만 "확률이 정확히 0.8%" 라고 하면 과장이에요.

이 태도가 중요합니다

좋은 결과가 나왔을 때 더 조심하는 것

15강에서도 같은 이야기를 했습니다 — 원하는 답이 나왔을 때가 가장 위험한 순간이에요.

그리고 30초 걸립니다

코드가 순열검정을 여러 번 돌리니까요. 19강에서 300번이던 걸 여기서는 더 많이 합니다.

정확한 판정을 내리는 자리니 제대로 돌리는 거예요. 19강의 "배울 때는 빠르게, 보고할 때는 정확하게" 입니다.

🎮 판정 기준을 직접 정해 보기

항목을 켜고 끄고, 합격 기준선을 옮겨 보세요. 기준을 정하는 사람이 결론을 정한다는 것을 체감할 수 있습니다. 그래서 좋은 연구는 기준을 결과를 보기 전에 정해 둡니다.

고등학생우리가 재현한 것

note 가 재현한 것을 정리합니다. 정확히 무엇을 했는지 적는 거예요.

재현했다	어느 강
Ddx54 녹다운이 실제로 되었다	8강
Cd47 · Cd38 · Myc 이 내려갔다	15강
면역회피 경로들이 꺼졌다	18 · 19강
방향이 7/7 일치	20강

방향과 대략의 크기가 논문과 맞는다

'방향' 이라는 말이 중요합니다

정확한 수치가 같다는 게 아닙니다. 올라갔나 내려갔나 가 같다는 거예요.

논문	우리	판정
logFC −0.72	−0.70	같은 방향 ✔
logFC −0.72	+0.30	반대 ✘

값이 조금 달라도 방향이 같으면 재현으로 본다

왜 값이 정확히 안 맞나

1강에서 예고한 그것입니다 —

걸러 내는 기준이 조금 다르다 (9강)
정규화 방법이 다를 수 있다 (6강)
통계 방법의 세부가 다르다 (12강)

같은 자료로도 결정이 다르면 값이 달라진다

/immunology 7강의 "표본을 가르는 자가 결론을 가른다" 와 같은 이야기예요.

그래서 방향으로 판정하는 것이 합리적입니다.

우리가 재현하지 못한 것 — 이것도 결과입니다

정직한 재현 보고서는 범위 밖을 반드시 밝힙니다.

· Fig 1–2 TCGA 폐선암 유전자조절네트워크로 마스터조절자를 추론한 부분
· Fig 3 microRNA 조절
· Fig 4–8 생쥐 체내 실험 · 공간전사체 · 단일세포 RNA-seq
· 단백질 수준 확인(웨스턴블롯)과 인산화 실험

또한 우리 분석 자체에도 한계가 있습니다 — FDR 보정을 하지 않았고(14강), 오솔로그 매핑이 단순했고(17강), MYC_TARGETS 세트는 방향이 반대로 나왔습니다(19강).

그래서 정확한 문장은 이렇습니다. "우리가 계산할 수 있었던 7개 항목의 방향은 모두 논문과 일치했다." 이보다 크게 말하면 과장입니다.

고등학생재현하지 못한 것 — 이것도 결과입니다

이 note 가 20강에서 가장 중요합니다. 그리고 제목이 전부를 말해요.

재현하지 못한 것 — 이것도 결과다

못 한 것들

못 한 것	이유	어느 강
단백질 수준 확인	우리는 mRNA 만 봤다	15강
다중검정 보정	13,095번 검정했다	14강
마우스↔인간 이름 맞추기	대문자 변환은 거칠다	17강
MYC_TARGETS 방향	혼자 반대였다	19강
생쥐 실험 결과	자료가 없다	—

할 수 있는 것과 없는 것의 경계를 긋는다

왜 이걸 적나

읽는 사람이 어디까지 믿을지 판단할 수 있다
다음 사람이 무엇을 더 해야 할지 안다
정직하다

못 한 것 목록이 곧 다음 연구 계획이다

이게 이 사이트 전체의 태도입니다

과목	어떻게
`/tcell` 18강	할 수 있는 것 8, 없는 것 6
`/immunology` 20강	말할 수 있는 것과 없는 것
`/stat` 20강	통계가 답하는 것과 못 하는 것
여기	재현한 것과 못 한 것

모든 과목이 같은 자리에서 끝난다 — 우연이 아니다

여러분에게 남기고 싶은 것

결과를 내는 것보다 어디까지 냈는지 아는 것이 어렵습니다. 그리고 그게 진짜 실력이에요.

스무 강 함께해 주셔서 고맙습니다. 이제 대학생 눈높이로 한 번 더 읽어 보세요 — 코드 한 줄 한 줄이 훨씬 잘 읽힐 겁니다.

전체 코드랩과의 관계

20강을 마친 지금, 여러분은 ddx54-master-regulator-nsclc_codelab.ipynb 의 모든 코드를 읽고 설명할 수 있습니다.

코드랩 단계	배운 강
① GEO 다운로드 · 녹다운 확인	2 · 3 · 4 · 8강
② 정규화 (CPM · log2) + 필터	5 · 6 · 7 · 9강
③ limma 형 moderated t-test	10 · 11 · 12 · 13강
④ 차등발현 · 핵심 유전자 · 화산도	14 · 15 · 16강
⑤ preranked GSEA	17 · 18 · 19강
⑥ 재현 판정	20강

이제 남의 코드를 읽는 사람에서 자기 분석을 설계하는 사람이 될 차례입니다. 같은 코드를 다른 GEO 접근번호에 그대로 대 보세요. 바꿀 것은 URL 과 샘플 이름, 그리고 관심 있는 유전자 목록뿐입니다.

🤔 확인 문제

파이썬에서 sum([True, True, False, True]) 의 값은?

🤔 확인 문제

sum(v for _, v in checks) 에서 _ 의 뜻은?

해설 _ 는 그냥 변수 이름이지만, 파이썬에서는 '받긴 받되 쓰지 않겠다'는 뜻으로 씁니다. 여기서는 항목 이름을 버리고 참거짓만 더합니다.

🤔 확인 문제

이번 재현 연구의 결론을 가장 정확하게 말한 것은?