3강 / 20강

표를 읽는 도구 — pandas 한 줄

24,419 × 7 짜리 표를 손에 쥐기

지난 강에서 본 파일은 사실 글자 줄의 나열이었습니다. 탭으로 칸이 나뉘어 있을 뿐이죠. 이대로는 "Ddx54 행의 KD 열" 같은 걸 꺼내기 어렵습니다.

그래서 pandas 를 씁니다. pandas 의 DataFrame 은 행에도 열에도 이름표가 붙은 표예요. 엑셀 시트를 파이썬에서 다룬다고 생각하면 됩니다.

df = pd.read_csv(cache, sep="\t", index_col=0) │ └ 0번 열(유전자 이름)을 행 이름표로 쓴다 └ 칸 구분자는 쉼표가 아니라 탭

이 두 개의 인자가 전부입니다. sep="\t" 를 빠뜨리면 pandas 는 쉼표를 찾다가 줄 하나를 통째로 한 칸으로 읽어 버립니다. index_col=0 을 빠뜨리면 유전자 이름이 이름표가 아니라 데이터가 됩니다.

고등학생24,419 × 7 이라는 표

이제 표가 손에 들어옵니다. 크기가 24,419행 × 7열 이에요.

차원	무엇	왜 그 수인가
행 24,419	유전자	생쥐 유전자 수 (대략)
열 7	시료	WT 4개 + KD 3개

칸 하나 = 이 시료의 이 유전자가 몇 번 읽혔나

크기를 실감해 보면

24,419 × 7 = 170,933개의 숫자입니다. 엑셀로 열면 열리긴 하는데 스크롤로는 못 봅니다.

그래서 코드로 다루는 것이다

shape 은 (행, 열) 순서

df.shape 가 (24419, 7) 을 줍니다. 행이 먼저, 열이 나중이에요.

수학의 행렬 표기와 같습니다 — m × n 행렬은 m행 n열이죠.

이 표가 20강 내내 쓰입니다

강	이 표로 하는 일
4~6강	다듬고 정규화한다
7 · 9강	로그를 씌우고 거른다
10~13강	통계를 낸다
14~20강	해석한다

표 하나에서 논문의 결론까지 간다

이게 생물정보학이 하는 일의 전부라고 해도 됩니다.

표 한 장이 손에 들어왔습니다. shape 은 (행, 열) 순서입니다.

Python 브라우저에서 실행

import pandas as pd

df = pd.read_csv("GSE285342_LLC1_cnt_DDX54.tsv.gz", sep="\t", index_col=0)

print("표 크기 (행, 열):", df.shape)
print("행 =", f"{df.shape[0]:,}", "개 유전자 · 열 =", df.shape[1], "개 샘플")
print()
print("열 이름표:", list(df.columns))
print("행 이름표 앞 5개:", list(df.index[:5]))
print()
print(df.head())

고등학생pandas 한 줄이면 됩니다

코드가 한 줄로 표를 읽습니다.

pd.read_csv(파일, sep="\t", index_col=0)

인자 두 개가 중요합니다

인자	하는 일	빼면
`sep="\t"`	탭으로 나눈다	한 줄이 통째로 한 칸이 된다
`index_col=0`	첫 열을 이름표로 쓴다	유전자 이름이 자료처럼 취급된다

기본값은 쉼표다 — 탭이면 반드시 적어야 한다

index_col 이 왜 중요한가

유전자 이름은 자료가 아니라 이름표입니다. 계산에 들어가면 안 돼요.

	index_col 없이	index_col=0
열 개수	8 (이름 열 포함)	7 ✔
합계 계산	오류 (글자를 더할 수 없다)	정상
유전자 찾기	번거롭다	`df.loc["Ddx54"]` ✔

이름표를 따로 세워 두면 그다음이 전부 편해진다

비유 — 명단의 이름 칸

성적표에서 이름 칸은 계산에 안 들어가죠. 평균을 낼 때 이름을 더하지 않습니다.

그런데 컴퓨터는 말해 주지 않으면 모릅니다. index_col=0 이 "이건 이름이야" 라고 알려 주는 거예요.

/py 11강과 이어집니다

거기서 pandas 를 배웠다면 여기서는 실제 자료에 씁니다. 같은 도구, 진짜 사용처예요.

고등학생숫자에 쉼표 찍기

note 가 사소해 보이는 걸 다룹니다 — 숫자에 쉼표를 찍는 것이요.

f"{24419:,}" → 24,419

왜 이게 중요한가

자릿수를 눈으로 셀 필요가 없어집니다.

쉼표 없이	쉼표와 함께
24419	24,419 — 2만 4천
1200000	1,200,000 — 120만
13095	13,095 — 1만 3천

자릿수를 잘못 읽는 사고를 막는다

실제로 일어나는 실수입니다

결과가 2,441,900 인데 244,190 으로 읽으면? 열 배 차이인데 눈으로는 잘 안 보입니다.

쉼표가 있으면 덩어리로 읽히니 훨씬 안전해요.

작은 습관이 쌓입니다

이 강의가 사소한 것을 자꾸 짚는 이유가 있습니다.

큰 실수는 대개 작은 부주의에서 온다

작은 습관	막아 주는 것
쉼표 찍기	자릿수 오독
`shape` 찍어 보기	표가 뒤집힌 것
개수 확인	조용히 사라진 자료
파일 몇 줄 보기	구분자·머리글 실수

전부 1초면 되는 일인데, 안 하면 몇 시간을 헤맵니다.

🎮 count matrix 해부하기

행 · 열 · 칸을 눌러 보세요. 각각이 생물학적으로 무엇을 뜻하는지, 그리고 pandas 로는 어떻게 꺼내는지 함께 나옵니다.

표에서 값을 꺼내는 세 가지 길

pandas 를 처음 배울 때 가장 헷갈리는 부분입니다. 세 가지만 확실히 해 둡시다.

열 하나

df["WT_DDX54_1"]

대괄호에 열 이름 — 유전자 24,419개의 값

행 하나

df.loc["Ddx54"]

.loc 에 행 이름 — 샘플 7개의 값

칸 하나

df.loc["Ddx54", "KD_DDX54_1"]

행 이름, 열 이름 — 숫자 하나

Ddx54 원시 개수: WT 는 1,200~1,500 · KD 는 700 대. 벌써 차이가 보입니다.

Python 브라우저에서 실행

import pandas as pd
df = pd.read_csv("GSE285342_LLC1_cnt_DDX54.tsv.gz", sep="\t", index_col=0)

print("① 행 하나 — Ddx54 유전자의 7개 샘플 값")
print(df.loc["Ddx54"])
print()
print("② 칸 하나 —", df.loc["Ddx54", "KD_DDX54_1"])
print()
print("③ 열 하나의 합계 — WT_DDX54_1 샘플에서 읽은 RNA 총 개수:",
      f"{df['WT_DDX54_1'].sum():,}")

고등학생여기서 결론 내리면 안 됩니다

이 note 가 이 강의에서 가장 중요한 경고일지 모릅니다.

방금 본 것

Ddx54 원시 개수 — WT 는 1,200~1,500, KD 는 700 대. 차이가 확실히 보입니다.

그런데 아직 결론을 내면 안 된다

왜 안 되나 — 그릇 크기가 다르다

시료마다 읽은 총량이 다릅니다. 어떤 시료는 2,000만 번 읽었고 어떤 시료는 1,000만 번 읽었어요.

시료	Ddx54 개수	총 읽은 수	비율
A	1,400	2,000만	0.007%
B	700	1,000만	0.007%

개수는 두 배 차이인데 비율은 같다

비유 — 컵의 크기

큰 컵에 설탕 10스푼, 작은 컵에 5스푼. 어느 쪽이 더 달까요?

모릅니다. 컵 크기를 알아야죠. 큰 컵이 두 배 크면 단맛은 같습니다.

개수가 아니라 농도를 봐야 한다 — 그게 6강의 CPM

이런 함정이 왜 위험한가

그럴듯한 답이 나오기 때문입니다. "차이가 보인다!" 하고 넘어가기 쉬워요.

그리고 운 좋게 맞을 수도 있습니다. 그런데 이유가 틀렸으면 다음번엔 틀립니다.

맞는 답보다 맞는 이유가 중요하다

/py 5강의 인구밀도 이야기가 여기서도 나옵니다 — 나누는 것이 견주기 위한 준비 작업이에요.

🤔 확인 문제

pd.read_csv(..., sep="\t") 에서 sep 를 빠뜨리면?

해설 read_csv 의 기본 구분자는 쉼표입니다. 탭으로 나뉜 파일에서 쉼표를 찾으면 나눌 곳을 못 찾아, 결국 열이 하나뿐인 이상한 표가 만들어집니다.

🤔 확인 문제

index_col=0 은 무슨 일을 하나요?

해설 0번 열에는 유전자 이름이 들어 있습니다. 이것을 행 이름표(index)로 삼아야 df.loc["Ddx54"] 처럼 이름으로 찾을 수 있습니다.

🤔 확인 문제

df.shape 가 (24419, 7) 이라면?

해설 shape 은 (행, 열) 순서입니다. 우리 표는 행이 유전자 · 열이 샘플이므로 유전자 24,419개, 샘플 7개입니다.