11강 / 20강

pandas — 이름이 붙은 표

R 의 data.frame 에 해당하는 것

numpy 표에는 이름이 없습니다. 표[0][3] 이 무슨 유전자의 무슨 표본인지 따로 기억해야 하죠.

pandas 의 DataFrame 은 거기에 이름을 붙입니다. R 을 쓰던 분이라면 data.frame 과 거의 같습니다.

R	pandas
`df$gene`	`df["gene"]`
`df[df$p < 0.05, ]`	`df[df["p"] < 0.05]`
`nrow(df)`	`len(df)`
`head(df)`	`df.head()`
`merge(a, b)`	`a.merge(b)`

고등학생numpy 표에 이름을 붙인 것

numpy 표에는 이름이 없습니다. 표[0][3] 이 무슨 유전자의 무슨 표본인지 따로 기억해야 하죠.

pandas 의 DataFrame = numpy 표 + 이름

비유 — 좌석표

	numpy	pandas
좌석 찾기	"셋째 줄 다섯째 자리"	"김철수 자리"
줄 하나가 빠지면	번호가 전부 밀린다	이름은 그대로다

두 번째 줄이 중요합니다. 표에서 몇 줄을 걸러 내면 번호가 다 바뀝니다. 이름은 안 바뀌어요.

R 을 쓰던 분에게 — 거의 같습니다

R	pandas
`df$gene`	`df["gene"]`
`df[df$p < 0.05, ]`	`df[df["p"] < 0.05]`
`nrow(df)`	`len(df)`
`head(df)`	`df.head()`
`merge(a, b)`	`a.merge(b)`

이름만 다르고 생각은 같습니다. 1강에서 "하나를 제대로 하면 다른 하나는 빨리 붙는다" 고 한 게 이런 뜻이에요.

pandas 가 사실상 표준입니다

파이썬으로 자료를 다루는 사람은 거의 전부 pandas 를 씁니다. 그래서 인터넷에 예제도 답도 아주 많아요.

막히면 "pandas 무엇무엇" 으로 검색하면 대개 나옵니다. 많이 쓰이는 도구를 배우는 것의 숨은 장점입니다.

<code>&</code> 는 <b>and</b> 입니다. 표에서는 <code>and</code> 가 아니라 <code>&</code> 를 쓰고, 각 조건을 <b>괄호</b>로 감쌉니다.

Python 브라우저에서 실행

import pandas as pd

df = pd.DataFrame({
    "gene":     ["DDX54", "CD47", "CD38", "MYC", "GAPDH", "ACTB"],
    "log2fc":   [ 0.62,   0.51,   0.44,  0.71,  0.02,   -0.05],
    "pvalue":   [ 0.008,  0.021,  0.039, 0.002, 0.880,   0.910],
    "baseMean": [ 340.2,  920.5,  110.8, 1580.4, 21050.0, 18900.0],
})

print(df)
print()
print("모양:", df.shape, "· 열:", list(df.columns))
print()

# 열 하나 꺼내기
print("log2fc 열:")
print(df["log2fc"].values)
print()

# 조건으로 거르기 — 6강의 if 를 표 전체에 한 번에
유의 = df[(df["log2fc"].abs() > 0.3) & (df["pvalue"] < 0.05)]
print("논문의 문턱(|log2FC|>0.3, p<0.05)을 넘은 유전자:")
print(유의[["gene", "log2fc", "pvalue"]])
print()
print(f"{len(df)}개 중 {len(유의)}개가 남았습니다.")

고등학생6강의 if 를 표 전체에 한 번에

코드에서 이런 줄이 나옵니다.

유의 = df[(df.log2fc.abs() > 0.3) & (df.pvalue < 0.05)]

6강에서 배운 조건이 그대로 들어 있습니다. 다만 유전자 하나가 아니라 표 전체에 한 번에 적용돼요.

발전 과정을 보면

강	어떻게	몇 개씩
6강	`if` 로 판정	하나씩
10강	참거짓 배열로 고르기	배열 하나
11강	조건으로 표를 거르기	표 전체

같은 발상이 점점 커진다 — 새로 배우는 게 아니다

읽는 법

df[조건] 은 "조건이 참인 줄만 남겨라" 입니다. 대괄호 안에 참거짓의 줄이 들어가는 거예요 — 10강의 체크박스입니다.

.abs() 가 붙은 것에 주목

6강의 abs(log2fc) 가 여기서는 df.log2fc.abs() 가 됩니다.

numpy·pandas 에서는 함수를 뒤에 붙여 부르는 방식이 흔합니다. abs(x) 대신 x.abs() 처럼요. 결과는 같습니다.

그리고 결과의 개수를 찍습니다

코드 마지막이 {len(df)}개 중 {len(유의)}개가 남았습니다 를 찍죠.

거르고 나면 반드시 개수를 확인하라

이 강의가 계속 하는 이야기입니다. 0개가 남았다면 조건이 너무 빡빡하거나 열 이름을 잘못 쓴 것이고, 전부 남았다면 조건이 작동하지 않은 것이에요.

고등학생표에서는 and 가 아니라 &

이 note 가 pandas 초보자를 가장 많이 괴롭히는 오류를 다룹니다.

df[df.a > 1 and df.b < 2] → 오류

왜 안 되나

	무엇을 견주나
`and`	값 하나끼리 — True 냐 False 냐
`&`	줄마다 — 참거짓의 줄 전체

df.a > 1 은 값 하나가 아니라 참거짓 2만 줄 입니다. 파이썬이 "이걸 통째로 참이라고 해야 하나 거짓이라고 해야 하나" 하고 답을 못 내서 오류를 냅니다.

2만 줄이 참인지 한마디로 말할 수 없다

비유 — "우리 반이 키가 큰가?"

학생 한 명에 대해서는 예/아니오로 답할 수 있죠. 그런데 반 전체에 대해 물으면? 답할 수가 없습니다. 누구는 크고 누구는 작으니까요.

그래서 학생마다 따로 답해야 합니다 — 그게 & 입니다.

세 가지를 함께 외우세요

보통 파이썬	표에서는
`and`	`&`
`or`	`\|`
`not`	`~`

괄호를 꼭 감싸세요

(df.a > 1) & (df.b < 2) — 괄호가 필수

왜냐면 & 가 > 보다 먼저 계산되기 때문입니다. 괄호가 없으면 1 & df.b 를 먼저 계산하려 해서 엉뚱해져요.

이건 파이썬의 연산자 우선순위 때문인데, 외울 필요 없습니다. 조건마다 괄호 — 이 습관 하나면 됩니다.

<code>groupby</code> 는 R 의 <code>aggregate</code>·dplyr 의 <code>group_by</code> 에 해당합니다.

Python 브라우저에서 실행

import pandas as pd

df = pd.DataFrame({
    "gene":   ["DDX54", "CD47", "CD38", "MYC", "GAPDH", "ACTB"],
    "log2fc": [ 0.62,   0.51,   0.44,  0.71,  0.02,   -0.05],
    "pvalue": [ 0.008,  0.021,  0.039, 0.002, 0.880,   0.910],
})

# 새 열 만들기
df["방향"] = ["올라감" if v > 0 else "내려감" for v in df["log2fc"]]
df["유의"] = (df["log2fc"].abs() > 0.3) & (df["pvalue"] < 0.05)

# 정렬
print("p 값이 작은 순:")
print(df.sort_values("pvalue")[["gene", "pvalue", "유의"]].to_string(index=False))
print()

# 묶어서 세기
print("방향별 개수:")
print(df.groupby("방향").size().to_string())
print()
print("유의한 것만 방향별:")
print(df[df["유의"]].groupby("방향").size().to_string())

고등학생groupby — 묶어서 요약하기

코드 뒷부분에 groupby 가 나옵니다. 자료 분석에서 가장 많이 쓰는 동작 중 하나예요.

묶고 → 요약한다

비유 — 반별 평균 내기

전교생 성적표가 있습니다. 반별 평균을 내려면?

같은 반끼리 묶는다 ← groupby
묶음마다 평균을 낸다 ← .mean()

코드로는 성적.groupby("반")["점수"].mean() 입니다. 문장 그대로예요.

코드에서 하는 일

코드	뜻
`df.groupby("방향").size()`	방향(올라감/내려감)별로 몇 개인가
`df[df["유의"]].groupby("방향").size()`	유의한 것만 골라서 방향별로 세기

두 번째가 거르기 + 묶기를 이어 붙인 것입니다. 이렇게 동작을 줄줄이 잇는 것이 pandas 의 스타일이에요.

R 을 쓰던 분에게

aggregate 나 dplyr 의 group_by 와 같습니다. dplyr 의 %>% 파이프처럼 점(.)으로 이어 씁니다.

새 열 만들기

코드에 df["유의"] = … 같은 것도 나옵니다. 없던 열을 새로 만드는 거예요.

판정 결과를 열로 저장해 두면 나중에 다시 쓸 수 있다

매번 조건을 다시 계산하는 것보다, 한 번 판정해 열에 적어 두는 편이 낫습니다. 읽기도 쉽고, groupby("유의") 처럼 묶는 기준으로도 쓸 수 있어요.

정렬도 자주 씁니다

df.sort_values("pvalue") — p 값이 작은 순으로 줄을 세웁니다. 가장 유의한 유전자 열 개를 보려면 정렬하고 .head(10) 하면 돼요.

16강의 볼케이노에서 이름을 달 유전자를 고를 때 이 방법을 씁니다.

🤔 확인 문제

pandas 에서 두 조건을 함께 걸 때 올바른 것은?

해설 & 를 쓰고 각 조건을 괄호로 감쌉니다. and 는 값 하나끼리 견줄 때만 쓰고, 표에는 못 씁니다.