5강 / 20강

이름표 읽기 — 유전자 이름은 생각보다 위험하다

features(id·name·type) · barcodes · 중복 이름의 함정

지금까지 우리가 만진 것은 숫자 덩어리였습니다. 이제 이름표를 붙일 차례입니다. matrix/features/ 안에는 유전자 이름표가 네 가지로 들어 있었습니다.

데이터셋	예시	뜻
`id`	ENSMUSG00000026395	Ensembl 유전자 번호 — 절대 겹치지 않는다
`name`	Ptprc	사람이 읽는 심볼 — 겹칠 수 있다
`feature_type`	Gene Expression	측정 종류 (항체 태그가 섞이면 여기가 달라진다)
`genome`	mm10	어느 참조 유전체에 맞췄나

그리고 matrix/barcodes 에는 AAACCTGAGAGCTGGT-1 같은 문자열이 있습니다. 앞의 16글자는 세포를 감싼 기름방울에 붙어 있던 DNA 꼬리표이고, 뒤의 -1 은 몇 번째 실험(GEM well)에서 나왔는지를 뜻합니다.

고등학생유전자 이름은 생각보다 위험하다

features에는 여러 정보가 있습니다.

필드	내용	안정성
id	Ensembl ID (ENSG...)	안정적
name	유전자 기호 (TP53 등)	바뀔 수 있음
type	Gene Expression 등	—

이름은 바뀌고 중복됩니다 — ID는 안 바뀝니다.

b'...' 를 .decode() 로 푸는 것을 잊지 마세요. HDF5 의 문자열은 바이트로 들어 있습니다.

Python 브라우저에서 실행

import h5py, numpy as np

with h5py.File("GSE268555_slice.h5", "r") as f:
    ft = f["matrix"]["features"]
    ids   = np.array([x.decode() for x in ft["id"][:]])
    names = np.array([x.decode() for x in ft["name"][:]])
    types = np.array([x.decode() for x in ft["feature_type"][:]])
    gen   = np.array([x.decode() for x in ft["genome"][:]])
    bc    = np.array([x.decode() for x in f["matrix"]["barcodes"][:]])

print("유전자 수:", f"{len(names):,}")
print("측정 종류:", set(types))
print("참조 유전체:", set(gen))
print("\n처음 다섯 개")
for i in range(5):
    print(f"   {i:5d}  {ids[i]:22} {names[i]}")
print("\n바코드 예시:", bc[:3])
print("바코드 길이:", len(bc[0]), "글자  (16염기 + '-1')")

고등학생중복 이름의 함정

서로 다른 Ensembl ID가 같은 이름을 갖는 경우가 있습니다.

일어나는 일	결과
이름으로 유전자를 찾음	여러 개가 나옴
첫 번째만 씀	어느 것인지 모름
합침	서로 다른 유전자를 더함

이름을 유일하게 만드는 함수(make_unique)가 흔히 쓰입니다 — 뒤에 -1, -2를 붙여요.

실제로 겹칩니다. 이래서 연결·병합의 기준은 언제나 id 여야 합니다.

Python 브라우저에서 실행

# 정말 겹치는지 직접 세어 봅니다.
import h5py, numpy as np, pandas as pd

with h5py.File("GSE268555_slice.h5", "r") as f:
    ft = f["matrix"]["features"]
    ids   = np.array([x.decode() for x in ft["id"][:]])
    names = np.array([x.decode() for x in ft["name"][:]])

s = pd.Series(names)
dup = s.value_counts()
dup = dup[dup > 1]
print(f"전체 심볼 {len(names):,}개 중 서로 다른 이름 {s.nunique():,}개")
print(f"→ 겹치는 이름 {len(dup)}개, 그 때문에 늘어난 줄 {len(names)-s.nunique()}개\n")
print("겹치는 이름 몇 개")
print(dup.head(8).to_string())

보기 = dup.index[0]
print(f"\n'{보기}' 는 이런 서로 다른 유전자들입니다:")
for i in np.where(names == 보기)[0]:
    print("   ", ids[i])

상위권에 mt- 로 시작하는 미토콘드리아 유전자와 Rps·Rpl 리보솜 유전자가 잔뜩 보일 겁니다. 다음 강의의 주인공들입니다.

Python 브라우저에서 실행

# 실무 규칙: id 를 색인으로 쓰고, 이름은 '보여 주기용' 열로 옆에 둔다.
import h5py, numpy as np, pandas as pd, scipy.sparse as sp

with h5py.File("GSE268555_slice.h5", "r") as f:
    m = f["matrix"]
    ids   = np.array([x.decode() for x in m["features"]["id"][:]])
    names = np.array([x.decode() for x in m["features"]["name"][:]])
    X = sp.csc_matrix((m["data"][:].astype(np.float32), m["indices"][:], m["indptr"][:]),
                      shape=tuple(m["shape"][:]))

검출세포수 = np.asarray((X > 0).sum(1)).ravel()
총합       = np.asarray(X.sum(1)).ravel()

유전자표 = pd.DataFrame({"심볼": names, "검출세포수": 검출세포수.astype(int),
                     "총UMI": 총합.astype(int)},
                    index=pd.Index(ids, name="ensembl"))

print("가장 많이 잡힌 유전자 12개")
print(유전자표.sort_values("총UMI", ascending=False).head(12).to_string())
print(f"\n한 세포에서도 안 잡힌 유전자: {(검출세포수==0).sum():,}개 "
      f"({(검출세포수==0).mean()*100:.0f}%)")

고등학생type 필드를 확인하는 이유

type	내용
Gene Expression	일반 유전자
Antibody Capture	항체 표지 (CITE-seq)
CRISPR Guide Capture	가이드 RNA (Perturb-seq)

한 파일에 여러 종류가 섞여 있을 수 있습니다 — 나눠서 다뤄야 해요.

10x 삼총사 — h5 말고 다른 형태로 받을 때

GEO 에서 어떤 연구는 h5 대신 파일 세 개를 올립니다. matrix.mtx.gz · features.tsv.gz · barcodes.tsv.gz. 내용은 h5 와 완전히 같습니다. 담는 그릇만 다를 뿐이에요. 그리고 이건 텍스트라서 눈으로 읽을 수 있습니다.

%%MatrixMarket 머리글, 그 다음 행 열 값 세 숫자가 한 줄씩. CSC 와 담는 방식만 다릅니다.

Python 브라우저에서 실행

# 눈으로 읽을 수 있게 20 유전자 × 12 세포로 줄인 MatrixMarket 파일입니다.
print(open("mini_matrix.mtx").read()[:520])
print("...\n[features.tsv 앞 3줄]")
print("".join(open("mini_features.tsv").readlines()[:3]))
print("[barcodes.tsv 앞 3줄]")
print("".join(open("mini_barcodes.tsv").readlines()[:3]))

1부터 세는 것에 주의하세요. 파이썬은 0부터라 -1 을 빼 줘야 합니다. 여기서 어긋나면 유전자가 한 칸씩 밀립니다.

Python 브라우저에서 실행

# 삼총사를 읽어 행렬로 되돌립니다. 형식이 단순해서 직접 읽어도 열 줄이면 끝납니다.
import numpy as np, pandas as pd, scipy.sparse as sp

줄 = [l for l in open("mini_matrix.mtx").read().splitlines() if not l.startswith("%")]
nr, nc, nnz = map(int, 줄[0].split())            # 첫 줄: 행 수 · 열 수 · 0아닌칸 수
행, 열, 값 = np.array([[int(x) for x in l.split()] for l in 줄[1:]]).T
M = sp.csc_matrix((값, (행 - 1, 열 - 1)), shape=(nr, nc))   # MatrixMarket 은 1부터 셉니다

유전자 = [l.split("\t")[1] for l in open("mini_features.tsv").read().splitlines()]
바코드 = open("mini_barcodes.tsv").read().split()
표 = pd.DataFrame(np.asarray(M.todense()), index=유전자,
                 columns=[b[:8] for b in 바코드])
print(표.to_string())

12개 세포의 민낯입니다. Ptprc(=Cd45)가 대부분에서 켜져 있는 것이 보이나요? CD45⁺ 로 골라 낸 세포들이니 당연합니다.

Python 브라우저에서 실행

# 실무에서는 scipy 의 전용 함수 한 줄이면 됩니다.
import scipy.io as sio
from scipy.io import _fast_matrix_market as fmm
fmm.PARALLELISM = 1        # 브라우저(WASM)는 스레드를 못 씁니다. 여러분의 노트북에서는 필요 없습니다.

M = sio.mmread("mini_matrix.mtx").tocsc()
print("모양:", M.shape, " 0이 아닌 칸:", M.nnz)
print("직접 읽은 것과 같은 결과인지:", M.nnz == 90)

고등학생바코드 읽기

형태	내용
ACGT... 16글자	세포바코드
-1 접미어	여러 시료를 합쳤을 때 시료 번호

파일을 합칠 때는 바코드에 시료 이름을 붙여야 합니다 — 안 그러면 겹칩니다.

바코드는 680만 개 목록에서 나오니, 다른 시료에서 같은 바코드가 나올 수 있어요.

🤔 확인 문제

두 데이터셋을 유전자 기준으로 합칠 때 무엇을 열쇠로 써야 할까요?

🤔 확인 문제

바코드 AAACCTGAGAGCTGGT-1 의 -1 은 무엇인가요?

🤔 확인 문제

유전자 목록을 엑셀로 열면 안 되는 이유는?