Lesson 4 of 20

시리즈 매트릭스 — 파일 한 장에 연구 한 건이 들어 있다

GSE24206_series_matrix.txt.gz · 실제 파일 구조

GEO 에서 내려받는 파일 중 가장 쓸모 있는 것이 시리즈 매트릭스입니다. 연구 한 건의 설명과 숫자가 한 파일에 다 들어 있어요.

구조는 아주 단순합니다.

!Series_title    "Validated Gene Expression Signatures of Idiopathic Pulmonary Fibrosis"
!Series_platform_id    "GPL570"
!Sample_title    "Healthy donor_biological replicate1"    "Healthy donor_..."    ...
!Sample_characteristics_ch1    "phenotype: healthy"    "phenotype: healthy"    ...
                       ↑ 느낌표로 시작하는 줄이 전부 설명
!series_matrix_table_begin
"ID_REF"    "GSM595407"    "GSM595411"    "GSM595414"    ...
"1007_s_at"    9.849878    9.800842    9.998512    ...
"1053_at"    7.138070    7.101720    7.394335    ...
!series_matrix_table_end

High school파일 한 장에 연구 한 건

series matrix 파일은 이상하게 생겼습니다. 위쪽 절반은 문장이고 아래쪽 절반은 표예요. 학교 성적표에 비유하면, 위에는 "○○고등학교, 2학년 3반, 담임 ○○○, 2026학년도 1학기"가 적혀 있고 아래에 과목별 점수 표가 붙어 있는 것과 같습니다.

줄 모양	뜻
`!Series_`로 시작	연구 전체에 관한 정보 (제목, 요약, 논문)
`!Sample_`로 시작	표본마다 하나씩, 탭으로 나열
`!series_matrix_table_begin`	여기부터 숫자 표
표 첫 줄	ID_REF 다음에 GSM 번호들
표 나머지	프로브 하나에 한 줄, 표본마다 값 하나

그래서 파일을 그냥 표로 읽으려 하면 실패합니다. 위쪽 문장 부분을 건너뛰어야 해요.

머리 — ! 로 시작하는 줄

연구 제목, 요약, 플랫폼 번호, 표본마다의 제목과 특성. 표본 순서대로 탭으로 늘어서 있습니다.

몸통 — begin 과 end 사이

첫 칸이 탐침 이름, 나머지 칸이 표본별 값. 행이 탐침, 열이 표본인 표입니다.

파일 하나에 이 둘이 들어 있다는 게 요점이에요. 누가 어떤 표본인지(머리)와 그 표본에서 유전자가 얼마나 켜졌는지(몸통)가 같이 옵니다.

High school왜 가로가 표본이고 세로가 유전자인가

표를 어느 방향으로 놓느냐는 취향 같지만 이유가 있습니다. 프로브는 5만 개고 표본은 20개예요. 세로로 5만 줄, 가로로 20칸이 됩니다.

텍스트 파일은 줄 단위로 읽습니다. 유전자가 세로면, 한 줄씩 읽으면서 "이 유전자가 필요 없으면 버린다"를 즉시 할 수 있어요. 5만 줄을 다 메모리에 올리지 않아도 됩니다. 반대로 놓으면 20줄이 각각 5만 칸짜리가 되어 한 줄만 읽어도 통째로 올라갑니다.

긴 쪽을 줄로 — 파일 형식은 대개 읽는 방식에 맞춰 정해집니다.

다만 통계 소프트웨어는 보통 "행이 표본, 열이 변수"를 기대합니다. 그래서 읽어 들인 다음 전치(transpose)하는 일이 자주 생기고, 여기서 표본 순서가 어긋나는 실수가 나옵니다. 표본 이름을 반드시 같이 들고 다녀야 하는 이유예요.

느낌표 줄을 사전에, 표를 목록에. 이 40줄이 이 강의 전체의 입구입니다.

Python Runs in your browser

# 시리즈 매트릭스를 읽는 함수. 진짜로 이렇게 생겼습니다.
# (브라우저에서는 파일을 못 받으므로 실제 파일의 앞부분을 그대로 적어 두었습니다)
sample = [
    '!Series_title\t"Validated Gene Expression Signatures of IPF"',
    '!Series_platform_id\t"GPL570"',
    '!Sample_title\t"Healthy donor_rep1"\t"Healthy donor_rep2"\t"Early IPF_rep140"',
    '!Sample_characteristics_ch1\t"phenotype: healthy"\t"phenotype: healthy"\t"phenotype: early IPF"',
    '!series_matrix_table_begin',
    '"ID_REF"\t"GSM595407"\t"GSM595411"\t"GSM595421"',
    '"1007_s_at"\t9.849878\t9.800842\t11.114914',
    '"1053_at"\t7.138070\t7.101720\t7.148710',
    '!series_matrix_table_end',
]

meta, header, rows = {}, None, []
in_table = False
for line in sample:
    if line.startswith("!series_matrix_table_begin"):
        in_table = True
        continue
    if line.startswith("!series_matrix_table_end"):
        break
    if in_table:
        parts = [c.strip('"') for c in line.split("\t")]
        if header is None:
            header = parts[1:]
        else:
            rows.append(parts)
        continue
    if line.startswith("!"):
        key, _, val = line.partition("\t")
        meta.setdefault(key[1:], []).append([c.strip('"') for c in val.split("\t")])

print("표본       :", header)
print("연구 제목  :", meta["Series_title"][0][0])
print("플랫폼     :", meta["Series_platform_id"][0][0])
print("표본 특성  :", meta["Sample_characteristics_ch1"][0])
print()
for r in rows:
    print(r[0], "->", r[1:])

High school빈칸과 결측 — 없는 값은 0이 아니다

시험에서 어떤 과목을 결시했다고 합시다. 그 칸에 0점을 적으면 평균이 확 떨어집니다. 하지만 실제로는 "모른다"이지 "0점"이 아니에요.

발현 자료에서도 같습니다. 프로브가 불량이거나 신호가 검출 한계 아래면 NA 또는 빈칸으로 옵니다. 이걸 0으로 바꾸면:

처리	결과
0으로 채움	"발현이 아예 없다"고 주장하게 됨 — 대개 틀림
그 유전자를 통째로 버림	안전하지만 유전자를 많이 잃음
NA로 두고 평균 계산에서 제외	이 강의의 방식 — 표본 수가 유전자마다 달라짐

세 번째를 고르면 "이 유전자는 n=15로 계산, 저 유전자는 n=17로 계산"이 됩니다. 나중에 효과크기를 낼 때 n을 유전자마다 따로 세야 한다는 뜻이에요.

파일 크기를 보면 감이 옵니다. 이 강의가 실제로 내려받은 네 파일입니다.

파일	압축 크기	탐침 행	표본 열
`GSE24206_series_matrix.txt.gz`	6.8 MB	54,613	23
`GSE10667_series_matrix.txt.gz`	8.1 MB	43,376	46
`GSE110147_series_matrix.txt.gz`	5.2 MB	33,297	48
`GSE53845_series_matrix.txt.gz`	5.3 MB	41,000	48

넷 다 10메가바이트 아래입니다. 논문 PDF 하나보다 조금 큰 정도예요. 연구 한 건의 자료 전체가 이만큼밖에 안 됩니다.

165개 열 중 142개를 썼습니다. 23개는 우리 물음에 맞지 않았어요.

Python Runs in your browser

# 네 파일에서 실제로 몇 개를 쓰고 몇 개를 버렸는가.
import pandas as pd

d = pd.DataFrame({
    "GSE":     ["GSE24206", "GSE10667", "GSE110147", "GSE53845"],
    "columns": [23, 46, 48, 48],
    "IPF":     [17, 23, 22, 40],
    "normal":  [6, 15, 11, 8],
})
d["dropped"] = d["columns"] - d.IPF - d.normal
print(d.to_string(index=False))
print()
print("버린 표본 합계 :", int(d.dropped.sum()))
print("쓴 표본 합계   :", int((d.IPF + d.normal).sum()))

🤔 Check yourself

시리즈 매트릭스 파일에서 ! 로 시작하는 줄이 담고 있는 것은?

Answer ! 줄은 주석이 아니라 알맹이입니다. 어떤 표본이 환자이고 어떤 표본이 정상인지가 거기 적혀 있어요. 그것 없이는 발현값이 쓸모없습니다.

🤔 Check yourself

GSE110147 의 열은 48개인데 이 강의가 33개만 쓴 이유는?