18강 / 20강

【실습】 다른 코호트에서도 그런가 — 살아남는 주장은 몇 개인가

논문 SI Fig. S4 · GSE81089 (197) · GSE171415 (35)

17강까지의 결과는 전부 TCGA-LUAD 하나에서 나왔습니다. TCGA 는 특정 시기, 특정 병원들에서 모은 표본입니다.

논문도 이 문제를 알고 SI Fig. S4 에서 공개 코호트 둘로 확인했습니다. 같은 두 코호트로 우리도 확인합니다.

고등학생한 코호트의 결과는 결과가 아니다

17강까지의 결과는 전부 TCGA-LUAD 하나 에서 나왔다. 그 안에서 아무리 여러 방법을 써도, 자료는 하나다.

왜 다른 코호트가 필요한가

한 코호트에만 있는 것	내용
배치 효과	수집 기관 · 시기 · 처리 방법
환자 구성	인종 · 병기 · 흡연력
플랫폼	시퀀싱 장비 · 정규화 방법
우연	표본 추출의 운

이 중 무엇이 결과를 만들었는지 한 코호트 안에서는 알 수 없다.

재현은 같은 자료를 다시 분석하는 것이 아니라 다른 자료에서 확인하는 것이다

Python 브라우저에서 실행

# 두 코호트가 무엇인가
import esc

for nm in ["GSE81089", "GSE171415"]:
    i = esc.ext_info(nm)
    print(f"{nm}")
    print(f"   표본 {i['n']}개 · 유전자 {i['n_gene']}개")
    print(f"   DDX54 상위 3분의 1 {i['n_high']}개 · 하위 {i['n_low']}개")
    print()
print("GSE171415 는 표본이 35개라 상·하위군이 12개씩입니다 - 아주 적습니다.")

Python 브라우저에서 실행

# GSE81089 (197 표본) - 경로 채점
import esc

print(esc.external("GSE81089").to_string())
print()
print("t 가 양수 = DDX54 높은 쪽에서 높음")

고등학생세 코호트의 성격이 다르다

코호트	표본 수	특징
TCGA-LUAD	407	대규모 · 다기관 · 표준화됨
GSE81089	197	중간 규모 · 단일 기관
GSE171415	35	소규모

규모 차이를 어떻게 다룰까

35개 코호트에서 결과가 안 나왔다면, 없어서인지 못 봐서인지 구별해야 한다.

상관계수 0.3 을 검출하려면 대략 85명 이 필요하다(검정력 80% 기준). 35명으로는 0.3 정도의 상관을 놓칠 확률이 절반이 넘는다.

결과	읽는 법
큰 코호트에서 나옴 · 작은 데서 안 나옴	검정력 부족일 수 있음 — 방향을 보라
작은 코호트에서 나옴 · 큰 데서 안 나옴	작은 쪽을 의심

재현 실패를 판정하기 전에 그 코호트가 볼 수 있었는지를 계산한다

유의하지 않다는 것과 효과가 없다는 것은 다릅니다 - 이 표본 수로는 있어도 못 찾습니다.

Python 브라우저에서 실행

# GSE171415 (35 표본) - 같은 채점
import esc

print(esc.external("GSE171415").to_string())
print()
print("아무것도 유의하지 않습니다. 표본이 12 대 12 라 검정력이 거의 없어요.")

세 코호트를 나란히 놓으면

경로	TCGA-LUAD (407)	GSE81089 (197)	GSE171415 (35)
MYC 표적	+6.60 ✔	+4.13 ✔	−0.37
증식 (G2M)	+6.50 ✔	+4.06 ✔	+0.81
EMT	−4.11	−0.68	−0.27
NF-κB (TNFA)	−3.04	−0.78	−0.34
IFN-γ	−1.60	−0.59	−0.48

살아남는 것은 MYC 와 증식, 두 개뿐입니다. 그리고 그 둘은 표본이 충분한 두 코호트에서 모두 같은 방향으로 강하게 나옵니다.

EMT 는 TCGA 에서만 셌고 외부에서는 사라집니다 — TCGA 고유의 무언가일 가능성이 큽니다.

고등학생세 코호트를 나란히 놓으면

같은 분석을 세 자료에서 돌리고 결과를 나란히 놓는다. 이것을 포레스트 플롯 처럼 보는 것이 좋다.

패턴	해석
셋 다 같은 방향 · 크기 비슷	튼튼한 결과
셋 다 같은 방향 · 크기 다름	효과는 있으나 크기는 맥락 의존
방향이 엇갈림	재현 안 됨
하나만 강함	그 코호트의 특수성 의심

중요한 것은 p 값이 아니라 방향과 크기다

세 코호트에서 모두 같은 방향 이면, 각각은 유의하지 않아도 합쳐서 의미가 있다.

반대로 한 코호트에서만 p < 0.001 이고 나머지에서 방향이 반대라면, 그 하나가 이상한 것 이다. p 값이 작아도.

일관성이 유의성보다 강한 증거다

Python 브라우저에서 실행

# 세 코호트를 한 표로
import esc

a = esc.hallmark("ddx54")["t"]
b = esc.external("GSE81089")["t"]
c = esc.external("GSE171415")["t"]
print(f"{'경로':<38}{'TCGA':>8}{'GSE81089':>11}{'GSE171415':>12}{'판정':>12}")
for k in a.index:
    if k not in b.index:
        continue
    셋 = [a[k], b.get(k, 0), c.get(k, 0)]
    큰 = [x for x in 셋[:2] if abs(x) > 2]
    판정 = "재현됨" if len(큰) == 2 and 셋[0]*셋[1] > 0 else ("TCGA 만" if abs(셋[0]) > 2 else "약함")
    print(f"{k:<38}{셋[0]:>+8.2f}{셋[1]:>+11.2f}{셋[2]:>+12.2f}{판정:>12}")
print()
print("GSE171415 는 표본이 적어 판정에서 뺐습니다.")

고등학생살아남는 주장은 몇 개인가

이 강의 전체를 통해 검증한 주장들을 정리하면 이렇다.

주장	결과
회피 유전자들이 종양에서 발현된다	확인
방패가 상시형/유도형으로 갈린다	깨끗하게 확인 (9강)
MYC 경로가 회피와 연관	재현 — 다만 순도 교란 가능
WNT · EMT · 줄기성	약하거나 어긋남
DDX54 → CD38 · CD47	재현 안 됨

이 표가 실망스러운가

그렇지 않다. 확인된 것과 안 된 것을 가른 것 이 성과다.

모든 주장이 확인되었다면 오히려 의심해야 한다. 검증이 제대로 되었다면 일부는 반드시 떨어진다. 떨어지지 않는 검증은 검증이 아니다.

아무것도 반증하지 못하는 분석은 아무것도 확인하지 못한 것이다

🤔 확인 문제

GSE171415 에서 아무것도 유의하지 않은 것을 어떻게 읽어야 하나?

🤔 확인 문제

MYC 만 두 코호트에서 재현된 것의 가장 알맞은 결론은?

🤔 확인 문제

EMT 가 TCGA 에서만 세게 나온 것을 무엇으로 의심해 볼 수 있나?