4강 / 20강

96%가 0이다 — 희소행렬 삼총사를 읽는다

data · indices · indptr 이 어떻게 행렬이 되는가

앞 강의에서 data · indices · indptr 이라는 낯선 이름 셋을 봤습니다. 이 셋이 CSC(Compressed Sparse Column) 형식입니다. 이름은 무섭지만 발상은 아주 간단해요.

0은 적지 않는다. 0이 아닌 값만 적고, 그것이 어디 있었는지를 따로 적는다.

작은 예로 보겠습니다. 유전자 5개 × 세포 3개짜리 행렬이 이렇게 생겼다고 합시다.

세포0 세포1 세포2 유전자0 0 0 4 유전자1 3 0 0 유전자2 0 7 0 유전자3 0 2 1 유전자4 5 0 0

0이 아닌 값은 여섯 개뿐입니다. 열(세포) 순서대로 훑으며 적어 봅시다.

data = [3, 5, 7, 2, 4, 1] ← 0이 아닌 값들, 열 순서대로 indices = [1, 4, 2, 3, 0, 3] ← 그 값이 몇 번째 행(유전자)이었나 indptr = [0, 2, 4, 6] ← 각 열이 data 의 몇 번째에서 시작하나

indptr 이 핵심입니다. 세포 k 의 값은 data[indptr[k] : indptr[k+1]] 에 있다 — 이 한 줄이 전부예요. 세포 1을 보고 싶으면 data[2:4] = [7, 2], 그 행 번호는 indices[2:4] = [2, 3]. 즉 유전자2에 7, 유전자3에 2. 원래 행렬과 일치합니다.

고등학생96%가 0이다

단일세포 표는 대부분이 0입니다.

이유	내용
세포마다 켜진 유전자가 일부	생물학적
포획 효율이 낮음	기술적 — 10~20%만 잡힘

0을 다 저장하면 96%가 낭비입니다 — 그래서 희소행렬을 씁니다.

고등학생삼총사

배열	담는 것
data	0이 아닌 값들 — 순서대로
indices	각 값이 몇 번째 행인가
indptr	각 열이 data의 어디서 시작하나

data와 indices는 길이가 같고, indptr은 열 수 + 1입니다.

직접 만들어 보면 삼총사가 하나도 신비롭지 않습니다.

Python 브라우저에서 실행

# 위의 5×3 예제를 진짜로 만들어 확인해 봅니다.
import numpy as np, scipy.sparse as sp

data    = np.array([3, 5, 7, 2, 4, 1])
indices = np.array([1, 4, 2, 3, 0, 3])
indptr  = np.array([0, 2, 4, 6])

M = sp.csc_matrix((data, indices, indptr), shape=(5, 3))
print(M.todense())          # 5×3 이라 펼쳐도 안전합니다

print("\n세포 1의 값 :", data[indptr[1]:indptr[2]])
print("그 유전자 번호:", indices[indptr[1]:indptr[2]])

3.8% 만 채워져 있습니다. 나머지 96.2% 는 전부 0 이에요.

Python 브라우저에서 실행

# 이제 진짜 파일로. 삼총사를 그대로 scipy 에 건네주면 행렬이 됩니다.
import h5py, numpy as np, scipy.sparse as sp

with h5py.File("GSE268555_slice.h5", "r") as f:
    m = f["matrix"]
    X = sp.csc_matrix((m["data"][:].astype(np.float32),
                       m["indices"][:], m["indptr"][:]),
                      shape=tuple(m["shape"][:]))

print("행렬:", X.shape, " 0이 아닌 칸:", f"{X.nnz:,}")
print("채워진 비율:", f"{X.nnz / (X.shape[0]*X.shape[1]) * 100:.2f}%")
print("메모리:", f"{(X.data.nbytes + X.indices.nbytes + X.indptr.nbytes)/1e6:.1f} MB")
print("펼쳤다면:", f"{X.shape[0]*X.shape[1]*4/1e6:.0f} MB")

고등학생어떻게 행렬이 되나

3번 열의 값을 꺼내려면 이렇게 합니다.

단계	내용
1	시작 = indptr[3], 끝 = indptr[4]
2	data[시작:끝] — 그 열의 값들
3	indices[시작:끝] — 각 값의 행 번호
4	나머지 행은 0

indptr 덕분에 특정 세포만 바로 꺼낼 수 있습니다 — 전체를 안 읽고요.

0이 이렇게 많은 것이 정상인가요?

네, 정상입니다. 그리고 그 0에는 두 가지 다른 의미가 섞여 있습니다.

진짜 0 — 그 유전자가 안 켜졌다

T세포에서 S100a8(호중구 유전자)은 정말로 꺼져 있습니다.
이건 정보입니다.

가짜 0 — 놓쳤다 (dropout)

세포 하나에서 mRNA 를 전부 잡지 못합니다.
10x 는 분자의 10~30% 정도만 포착해요.
켜져 있었는데 못 본 겁니다.

이 둘을 구별할 수 없다는 것이 단일세포 자료의 근본적인 한계입니다. 그래서 "이 세포에 Cd8a 가 0이니 CD8 T세포가 아니다" 라고 단정하면 안 됩니다. 대신 세포를 여럿 묶어서(군집) 평균을 보거나, 여러 표지자를 함께 봅니다. 12~14강에서 하게 될 일이 정확히 이것입니다.

세포 하나가 보여 주는 것은 유전자 전체의 5~10% 남짓입니다.

Python 브라우저에서 실행

# dropout 을 눈으로 봅니다 — 세포마다 검출된 유전자 수의 분포.
import h5py, numpy as np
import matplotlib.pyplot as plt

with h5py.File("GSE268555_slice.h5", "r") as f:
    m = f["matrix"]
    indptr = m["indptr"][:]
    n_gene = int(m["shape"][0])

검출유전자수 = np.diff(indptr)          # 열마다 0 아닌 칸의 개수 = 검출된 유전자 수

print(f"유전자 {n_gene:,}개 중 한 세포에서 실제로 검출되는 개수")
print(f"   가장 적은 세포 {검출유전자수.min():,}개  중앙값 {int(np.median(검출유전자수)):,}개  "
      f"가장 많은 세포 {검출유전자수.max():,}개")
print(f"   중앙값 기준 검출률 {np.median(검출유전자수)/n_gene*100:.1f}%")

plt.hist(검출유전자수, bins=60, color="#4c6ef5")
plt.xlabel("detected genes per cell"); plt.ylabel("cells")
plt.title("dropout")

고등학생CSC와 CSR

	CSC (열 압축)	CSR (행 압축)
빠른 접근	열 = 세포	행 = 유전자
10x 기본	이것	—
세포별 계산	빠름	느림
유전자별 계산	느림	빠름

유전자별 계산을 많이 하면 CSR로 바꾸는 것이 빠릅니다 — 변환 비용은 한 번뿐이에요.

🤔 확인 문제

CSC 형식에서 indptr 의 길이가 1,201 이라면?

해설 indptr 은 열의 경계를 찍으므로 길이 = 열 개수 + 1 입니다. 그리고 indptr[-1] 이 0이 아닌 값의 총 개수예요. 이 두 사실만 알면 형식을 몰라도 파일의 모양을 짐작할 수 있습니다.

🤔 확인 문제

어떤 세포에서 Cd8a 값이 0 이었습니다. 올바른 해석은?

🤔 확인 문제

이 조각 파일에서 X.todense() 를 부르는 것이 그나마 가능한 이유는?