Lesson 15 of 20

4.4 테라바이트 — 왜 다들 GEO 에서 멈추는가

이 강의 자료 713 run 의 실제 크기와 처리 시간

여기까지 읽고 나면 당연해 보입니다 — 원시 자료로 내려가면 되잖아.

그런데 이 강의가 모은 자료의 크기를 보세요.

📦

4,380 GB

run 713개, 압축된 상태

📂

≈ 11 TB

FASTQ 로 풀고 BAM 까지 만들면

⏳

12.5 시간

100 MB/s 로 쉬지 않고 내려받아도

그리고 이건 713개입니다. SRA 전체는 실험이 4,626만 개예요.

High school4.4 테라바이트

이 강의가 다루는 713 run을 다 내려받으면 4.4TB입니다.

단계	대략의 크기·시간
내려받기	4.4TB — 회선에 따라 수일
압축 해제 FASTQ	더 커짐
정렬 결과 (BAM)	비슷하거나 더 큼
계산 시간	run당 수십 분~수 시간
최종 카운트 표	수 MB

마지막 줄이 아이러니합니다 — 4.4TB를 처리해서 얻는 것이 수 MB짜리 표입니다.

자리가 시간보다 먼저 문제가 됩니다.

Python Runs in your browser

# 이 강의 자료를 실제로 처리한다면.
n_runs, gb_compressed = 713, 4380.0

print("### 자리")
for what, mult in [("압축 그대로", 1.0), ("FASTQ 로 풀면", 2.5), ("+ BAM 까지", 4.0)]:
    print(f"  {what:18s} {gb_compressed*mult:9,.0f} GB = {gb_compressed*mult/1024:5.1f} TB")

print()
print("### 시간")
for mbps, label in [(50, "보통 회선"), (100, "빠른 회선"), (500, "기관 회선")]:
    h = gb_compressed * 1024 / mbps / 3600
    print(f"  {label:12s} {mbps:4d} MB/s -> {h:6.1f}시간 = {h/24:4.1f}일")

print()
print("### 계산 (한 대로)")
for tool, minutes in [("STAR 정렬", 45), ("HISAT2 정렬", 22), ("salmon 유사정렬", 3.5)]:
    h = n_runs * minutes / 60
    print(f"  {tool:18s} {h:7.1f}시간 = {h/24:5.1f}일")
print()
print("코어 32개로 나눠 돌리면 시간은 줄지만 자리는 그대로입니다.")

High school그래서 다들 GEO에서 멈춘다

이 계산을 보면 왜 대부분의 사람이 GEO의 처리된 표에서 멈추는지 알 수 있습니다.

	GEO 표 받기	SRA 재처리
시간	몇 분	수일~수주
저장 공간	수 MB	수 TB
계산 자원	노트북	서버·클러스터
기술 난이도	낮음	높음
얻는 것	남의 결정이 박힌 숫자	내 결정으로 만든 숫자

1강에서 한 말이 여기서 값이 매겨집니다. 원자료로 가는 것의 가격표예요.

High school비용을 줄이는 방법

방법	내용
필요한 것만 받기	3~7강의 필터로 미리 좁힘
클라우드에서 처리	자료가 이미 클라우드에 있음 — 옮기지 않고 계산
유사정렬 사용	salmon 등이 STAR보다 훨씬 빠름
중간 파일 즉시 삭제	BAM을 안 남기고 카운트만
남이 한 것 쓰기	16강

두 번째와 다섯 번째가 실무에서 가장 큰 절약입니다.

16만 배. 이유 없이 치를 값이 아닙니다.

Python Runs in your browser

# GEO 로 될 일과 SRA 가 필요한 일의 크기 차이.
tasks = [
    ("병 대 정상 발현 비교",      "GEO",  26,       "MB"),
    ("여러 연구 메타분석",        "GEO",  120,      "MB"),
    ("눈금을 통일해 다시 계산",   "SRA",  4_380*1024, "MB"),
    ("스플라이싱 이상 찾기",      "SRA",  4_380*1024, "MB"),
    ("변이 부르기",               "SRA",  4_380*1024, "MB"),
]
print(f"{'하려는 일':26s} {'어디':>5s} {'크기':>14s}")
for t, where, size, unit in tasks:
    if size > 100_000:
        print(f"{t:26s} {where:>5s} {size/1024/1024:11.1f} TB")
    else:
        print(f"{t:26s} {where:>5s} {size:11.0f} {unit}")
print()
print(f"위 둘과 아래 셋의 크기 차이가 {4_380*1024/26:,.0f}배입니다.")

다행히 값을 낮추는 길이 몇 있습니다. 다음 강에서 봅니다.

High school비용을 미리 계산하는 습관

시작하기 전에 표로 계산해 보면 좋습니다.

계산할 것	어디서
총 파일 크기	runinfo의 size_MB 열 합계
대략의 계산 시간	run 하나를 시험 처리해 보고 곱하기
필요한 디스크	내려받기 + 중간 파일 + 결과
클라우드 비용	계산 시간 × 인스턴스 요금

run 하나를 먼저 끝까지 돌려 보는 것이 가장 정확한 견적입니다.

🤔 Check yourself

대부분의 연구가 SRA 로 내려가지 않고 GEO 에서 멈추는 이유는?

🤔 Check yourself

713개 run 을 STAR 로 정렬할 때 걸리는 시간(한 대 기준)에 가장 가까운 것은?