Lesson 12 of 20

표를 잇는다 — merge 와 groupby

발현량 표 + 표본 정보 표 = 분석할 수 있는 표

TCGA 에서 받으면 파일이 따로 옵니다 — 발현량 표 하나, 표본 정보(임상) 표 하나.

"면역 사막 표본에서 DDX54 가 높은가" 를 물으려면 둘을 이어야 합니다. 그 열쇠가 표본 번호예요.

발현량 표 ⋈ 표본 정보 표 (표본 번호로)

High school파일이 따로 오는 이유

TCGA 에서 자료를 받으면 파일이 따로 옵니다.

파일	무엇이 들어 있나
발현량 표	표본마다 유전자 발현량
임상 표	표본마다 나이 · 병기 · 면역 상태

왜 한 파일로 안 주나

만드는 사람이 다르고, 갱신 주기가 다르고, 크기가 다르기 때문입니다. 발현량은 수 GB 인데 임상 정보는 몇 MB 예요.

그리고 합치는 방식을 쓰는 사람이 정하게 두는 게 낫습니다.

그런데 물음은 둘을 넘나듭니다

"면역 사막 표본에서 DDX54 가 높은가?"

면역 사막인지 — 임상 표에 있다
DDX54 발현량 — 발현량 표에 있다

둘을 이어야 답할 수 있습니다.

잇는 열쇠 — 표본 번호

두 표에 공통으로 있는 열이 열쇠다

비유 — 성적표와 명단

학교에 두 파일이 있습니다.

성적표 — 학번, 점수
명단 — 학번, 이름, 반

반별 평균 점수를 내려면? 두 파일을 학번으로 합쳐야 합니다. 학번이 열쇠예요.

이 작업을 merge(또는 join) 라고 합니다. 데이터베이스에서 온 말인데, /db 강의가 그 뿌리를 다룹니다.

줄 수가 줄어든 것을 <b>반드시 확인하세요</b> — 조용히 사라지는 표본이 있습니다.

Python Runs in your browser

import pandas as pd

# 발현량 표 — 표본마다 DDX54 발현
발현 = pd.DataFrame({
    "sample": ["S1", "S2", "S3", "S4", "S5", "S6", "S9"],
    "DDX54":  [12.4, 15.1,  4.2,  3.8, 14.7,  5.0,  9.9],
})

# 표본 정보 표 — 표본마다 면역 상태
임상 = pd.DataFrame({
    "sample": ["S1", "S2", "S3", "S4", "S5", "S6", "S7"],
    "immune": ["desert", "desert", "inflamed", "inflamed", "desert", "inflamed", "desert"],
    "tmb":    [18.2, 22.5, 15.9, 11.4, 25.1, 13.7, 19.0],
})

print("발현량", 발현.shape, "· 임상", 임상.shape)
print()

# 안쪽 잇기 — 양쪽에 다 있는 표본만
합침 = 발현.merge(임상, on="sample")          # how="inner" 가 기본
print("이은 표:")
print(합침.to_string(index=False))
print()
print(f"발현 {len(발현)}줄 + 임상 {len(임상)}줄 → 이으니 {len(합침)}줄")
print("S9 는 임상에 없고, S7 은 발현에 없어서 빠졌습니다.")

High school조용히 사라지는 표본을 확인하세요

캡션이 경고합니다 — "줄 수가 줄어든 것을 반드시 확인하세요".

무슨 일이 일어나나

merge 의 기본은 inner 입니다. 양쪽에 다 있는 표본만 남겨요.

표본	발현량 표	임상 표	이은 뒤
S1	있음	있음	남는다
S7	없음	있음	사라진다
S9	있음	없음	사라진다

경고 없이 조용히 사라진다

왜 위험한가

100명이었는데 이은 뒤 60명이 됐다고 합시다. 40명이 사라진 거죠. 그런데 —

오류가 안 납니다
결과가 그럴듯하게 나옵니다
사라진 40명이 특정 부류일 수 있습니다

세 번째가 진짜 무섭습니다. 만약 사라진 40명이 전부 면역 사막 환자였다면? 결론이 통째로 뒤집힙니다.

빠진 것이 무작위가 아니면 결과가 치우친다

확인하는 법 — 세 줄이면 됩니다

확인	코드
이은 뒤 몇 줄인가	`len(합침)`
어느 쪽에 없었나	`how="outer"` 로 이어 빈 칸을 본다
사라진 표본이 어떤 것들인가	목록을 직접 찍어 본다

비유 — 명단을 합쳤는데 사람이 줄었다

성적표와 명단을 합쳤더니 학생이 줄었습니다. 그냥 넘어가면 안 되죠.

"전학 간 학생인가, 학번을 잘못 적었나, 아니면 결석생인가?" 이유를 확인해야 합니다. 그리고 대개 세 번째가 문제예요 — 빠진 데에 이유가 있는 경우요.

네 가지 잇기

how	남는 줄	언제
`inner` (기본)	양쪽에 다 있는 것	분석에 쓸 표를 만들 때
`left`	왼쪽 표 전부	왼쪽에 정보를 붙일 때
`right`	오른쪽 표 전부	드물다
`outer`	한쪽에라도 있는 것	무엇이 빠졌는지 볼 때

inner 가 기본이라 조용히 줄어듭니다. 이은 뒤에 줄 수를 확인하는 습관이 중요해요.

High school네 가지 잇기 — 무엇을 남길 것인가

잇는 방식이 넷 있습니다. how= 로 고릅니다.

how	남는 줄	언제 쓰나
inner (기본)	양쪽에 다 있는 것	분석에 쓸 표를 만들 때
left	왼쪽 표 전부	왼쪽에 정보를 붙일 때
right	오른쪽 표 전부	드물다
outer	한쪽에라도 있는 것	무엇이 빠졌는지 볼 때

비유 — 벤 다이어그램

원 두 개를 그려 보세요.

inner — 겹치는 부분만
left — 왼쪽 원 전부
outer — 두 원 전부

실제로 SQL 의 JOIN 도 똑같이 생겼습니다. /db 강의에서 같은 그림을 봅니다.

left 가 유용한 경우

표본 100개에 임상 정보를 붙이고 싶습니다. 임상 정보가 없는 표본도 남겨 두고 싶고요.

그때 how="left" 를 씁니다. 정보가 없는 줄은 빈 칸(NaN) 으로 채워져요. 표본은 안 사라집니다.

사라지게 할 것인가, 빈 칸으로 남길 것인가

outer 는 점검용입니다

분석에 쓰기보다 확인하려고 씁니다. outer 로 이어 보면 어느 쪽에 무엇이 없는지 한눈에 보여요.

코드가 how 를 바꿔 가며 줄 수와 빈 칸 수를 찍는 이유가 그겁니다.

그리고 기본이 inner 라는 것

아무것도 안 적으면 가장 많이 잃는 방식이 된다

편의를 위한 선택인데, 모르고 쓰면 위험합니다. 이제 아셨으니 merge 를 쓸 때마다 "몇 줄이 됐지?" 를 확인하세요.

값은 연습용입니다. 보려는 것은 <b>잇고 → 묶고 → 요약</b> 하는 흐름입니다.

Python Runs in your browser

import pandas as pd

발현 = pd.DataFrame({"sample": ["S1","S2","S3","S4","S5","S6","S9"],
                     "DDX54": [12.4,15.1,4.2,3.8,14.7,5.0,9.9]})
임상 = pd.DataFrame({"sample": ["S1","S2","S3","S4","S5","S6","S7"],
                     "immune": ["desert","desert","inflamed","inflamed","desert","inflamed","desert"]})

for how in ("inner", "left", "outer"):
    m = 발현.merge(임상, on="sample", how=how)
    빠진값 = m.isna().sum().sum()
    print(f"how={how:<7} {len(m)}줄 · 빈 칸 {빠진값}개")

print()
# 이은 표로 군별 요약 — 이것이 분석의 첫걸음이다
합침 = 발현.merge(임상, on="sample")
요약 = 합침.groupby("immune")["DDX54"].agg(["count", "mean", "std"]).round(2)
print("면역 상태별 DDX54:")
print(요약.to_string())
print()
차이 = 요약.loc["desert", "mean"] - 요약.loc["inflamed", "mean"]
print(f"desert 가 inflamed 보다 {차이:.2f} 만큼 높습니다.")
print("논문의 주장 — 면역 사막에서 DDX54 가 높다 — 과 같은 방향입니다.")

High school잇고 → 묶고 → 요약하기

코드 마지막이 분석의 기본 흐름을 보여 줍니다. 이 세 걸음이 자료 분석의 거의 전부예요.

잇고(merge) → 묶고(groupby) → 요약한다(mean)

코드가 답한 물음

"면역 사막에서 DDX54 가 더 높은가?"

발현량 표와 임상 표를 표본 번호로 잇는다
면역 상태(desert / inflamed)로 묶는다
묶음마다 DDX54 평균을 낸다

그리고 결과 — desert 가 더 높습니다. 논문의 주장과 같은 방향이에요.

이게 얼마나 대단한 일인지

여러분은 지금 논문의 핵심 주장을 코드 몇 줄로 확인한 겁니다.

물론 값은 연습용이에요. 그런데 진짜 자료를 끼우면 똑같은 코드가 그대로 돕니다. 그게 이 강의의 요점입니다.

보려는 것은 숫자가 아니라 흐름이다

다만 여기서 멈추면 안 됩니다

평균이 높다고 "차이가 있다" 고 말할 수는 없어요. 우연일 수도 있으니까요.

물음	어느 강
차이가 있나 (우연이 아닌가)	15강 — 검정
차이가 얼마나 큰가	15강 — 효과 크기
어떻게 보여 줄 것인가	13 · 16강 — 그림

평균 두 개를 견주는 것은 시작일 뿐입니다. 그런데 많은 사람이 여기서 멈추고 결론을 냅니다. 그러면 안 된다는 게 15강의 이야기예요.

🤔 Check yourself

a.merge(b, on="sample") 를 했더니 줄 수가 줄었습니다. 왜일까요?

Answer 기본값이 how="inner" 입니다 — 양쪽에 다 있는 것만 남아요. 이은 뒤 줄 수를 확인하는 습관이 표본을 조용히 잃지 않게 해 줍니다.