상자를 여는 법 — HDF5 안에는 폴더가 들어 있다

CSV라면 그냥 열면 됩니다. 첫 줄이 제목, 다음 줄부터 값. 그런데 HDF5 는 다릅니다. 왜 이런 형식을 쓸까요?

세포 40,100개 × 유전자 32,285개를 CSV로 적으면 숫자가 12억 9천만 개입니다. 한 칸에 한 글자만 써도 1.3 GB, 실제로는 2~3 GB가 됩니다. 게다가 그 중 96%가 0 이에요. 0을 저장하려고 3 GB를 쓰는 셈이죠. 그리고 유전자 이름, 바코드, 참조 유전체 이름 같은 부속 정보는 어디에 둘까요? CSV 한 장으로는 담을 곳이 없습니다.

HDF5(Hierarchical Data Format 5)는 이 두 문제를 한 번에 풉니다. 파일 하나 안에 폴더 구조를 넣고, 각 칸을 압축해서 저장합니다.