11강 / 20강

세 파일 — barcodes · features · matrix

【실습】 Matrix Market 파일을 손으로 뜯어 표로 되살린다

filtered_feature_bc_matrix/ 폴더를 열면 파일이 딱 세 개 있습니다.

filtered_feature_bc_matrix/
  barcodes.tsv.gz     <- 열 이름 (세포)
  features.tsv.gz     <- 행 이름 (유전자)
  matrix.mtx.gz       <- 알맹이
    

왜 셋으로 나눴을까요. 행렬이 거의 다 0 이기 때문입니다.

고등학생세 파일

단일세포 표는 대개 세 파일로 저장됩니다.

파일	담는 것
barcodes.tsv	세포 이름 목록 (열 이름)
features.tsv	유전자 목록 (행 이름)
matrix.mtx	숫자만 — 어느 칸에 얼마

이름과 숫자를 나눠 저장합니다 — 그래야 파일이 작아집니다.

고등학생왜 이렇게 나누나 — 희소성

단일세포 표는 대부분이 0입니다. 90~95%가 0이에요.

저장 방식	크기 (2만 유전자 × 5천 세포)
모든 칸을 저장	1억 개 숫자
0이 아닌 것만	500만 개 정도

0을 저장하지 않으면 크기가 20분의 1이 됩니다.

① barcodes.tsv — 열 이름

AAACATACAACCAC-1
AAACATTGAGCTAC-1
AAACATTGATCAGC-1
AAACCGTGCTTCCG-1
    

한 줄에 하나. 줄 번호가 곧 열 번호입니다 (1부터 셉니다). 이 파일의 줄 수가 곧 세포 수예요.

② features.tsv — 행 이름

한 줄에 세 칸이고, 칸 사이는 탭 문자입니다. 아래에서는 탭을 → 로 보이게 적었습니다.

ENSG00000243485 → MIR1302-2HG   → Gene Expression
ENSG00000237613 → FAM138A       → Gene Expression
ENSG00000186092 → OR4F5         → Gene Expression
    

칸	무엇	왜 있나
1	Ensembl ID	바뀌지 않는 이름. 계산은 이것으로 한다
2	유전자 기호	사람이 읽는 이름. 중복될 수 있다
3	종류	`Gene Expression` · `Antibody Capture` 등

③ matrix.mtx — 알맹이

%%MatrixMarket matrix coordinate integer general
%metadata_json: {"software_version": "cellranger-7.1.0", ...}
2700 2286884
2 4
2 1
2 10
2 1
    

줄	무엇
1	이 파일이 Matrix Market 좌표 형식이고 값이 정수라는 선언
2	`%` 로 시작하는 주석. Cell Ranger 판번호가 여기 있다
3	행 수 · 열 수 · 0 이 아닌 칸 수 — 이 세 숫자가 머리글이다
4 이후	행번호 열번호 값. 한 줄에 칸 하나

32709 2 4 는 “32,709번째 유전자가 2번째 세포에서 UMI 4개 잡혔다” 는 뜻입니다. 그것이 전부예요.

고등학생Matrix Market 형식

matrix.mtx의 구조는 아주 단순합니다.

줄	내용
1	`%%MatrixMarket ...` — 형식 표시
2	주석 (%로 시작)
3	행 수 · 열 수 · 0이 아닌 값의 개수
4 이후	행번호 열번호 값

번호는 1부터 시작합니다 — 파이썬의 0부터와 달라요.

여기서 만든 M 이 곧 모든 단일세포 분석의 출발점입니다.

Python 브라우저에서 실행

# Matrix Market 파일을 손으로 읽어 표로 되살린다
lines = [
    "%%MatrixMarket matrix coordinate integer general",
    "%metadata_json: {'software_version': 'cellranger-7.1.0'}",
    "5 4 7",          # 유전자 5개 · 세포 4개 · 0 아닌 칸 7개
    "1 1 3",
    "3 1 12",
    "2 2 5",
    "5 2 1",
    "3 3 8",
    "4 4 2",
    "5 4 9",
]
genes = ["CD3D", "MS4A1", "LYZ", "PPBP", "GNLY"]
cells = ["AAAC-1", "AAAG-1", "AAAT-1", "AACA-1"]

body = [l for l in lines if not l.startswith("%")]
n_gene, n_cell, n_nz = [int(x) for x in body[0].split()]
print("머리글: 유전자 %d · 세포 %d · 0 아닌 칸 %d" % (n_gene, n_cell, n_nz))
print()

import numpy as np
M = np.zeros((n_gene, n_cell), dtype=int)
for l in body[1:]:
    r, c, v = [int(x) for x in l.split()]
    M[r - 1, c - 1] = v          # 1-기반 -> 0-기반. 여기가 함정입니다
print("되살린 표:")
print("%-8s %s" % ("", "  ".join("%6s" % c for c in cells)))
for i, g in enumerate(genes):
    print("%-8s %s" % (g, "  ".join("%6d" % v for v in M[i])))
print()
print("빈 칸이 %d개, 채워진 칸이 %d개입니다."
      % (M.size - n_nz, n_nz))

희소행렬을 쓰는 이유를 숫자로.

Python 브라우저에서 실행

# 진짜 크기로 하면 어떻게 되나 — PBMC 3k
n_gene, n_cell, n_nz = 32738, 2700, 2286884

total = n_gene * n_cell
print("칸 전체:      %s개" % format(total, ","))
print("0 이 아닌 칸:  %s개" % format(n_nz, ","))
print("채워진 비율:   %.2f%%" % (n_nz / total * 100))
print()
# 아주 거친 어림 — 한 칸을 4바이트로 저장한다면
dense_mb = total * 4 / 1024 / 1024
sparse_mb = n_nz * 12 / 1024 / 1024      # (행, 열, 값) 세 숫자
print("0 까지 전부 적으면:  약 %.0f MB" % dense_mb)
print("0 아닌 칸만 적으면:  약 %.0f MB" % sparse_mb)
print("=> %.0f배 작습니다. 그래서 이 형식을 씁니다." % (dense_mb / sparse_mb))

고등학생손으로 되살리기

단계	하는 일
1	세 파일을 읽음
2	mtx의 각 줄에서 행·열·값을 얻음
3	행번호로 features.tsv에서 유전자 이름을 찾음
4	열번호로 barcodes.tsv에서 세포 이름을 찾음
5	표를 채움 — 나머지는 0

형식을 이해하면 어떤 도구 없이도 자료를 읽을 수 있습니다.

🤔 확인 문제

matrix.mtx 의 32709 2 4 는 무슨 뜻인가?

🤔 확인 문제

행렬을 세 파일로 쪼개 놓은 가장 큰 이유는?