Lesson 1 of 20

원자료는 표가 아니라 글자 더미다

FASTQ 네 줄의 구조 · 2,500만 개의 76 글자

RNA-seq 자료를 받았다고 하면 보통 이런 표를 떠올립니다.

Gene_names WT_1 WT_2 KD_1 Actb 18201 17553 16988 Ddx54 1475 1215 769

그런데 시퀀서가 내놓는 것은 표가 아닙니다. 아무 표도, 유전자 이름도 없습니다. 있는 것은 이런 글자 뭉치뿐입니다.

@SRR31831926.1 NS500424:499:H3WHNBGXM:1:11101:15800:1057/1 TTAGTGGGGGAAAGGTGCTTACTGATTTNNGTTNNCTTNCNNNNCNCNNNNNCTNTNNTCATNANNTNNAANNNNN + AA6AA/EEEEEEEEEAEEEEEEEEEEEE##AEE##EEE#<####<#E#####AE#E##<EAE#A##E##AA#####

이런 네 줄이 2,500만 번 반복됩니다. 그것이 FASTQ 파일이고, 그것이 원자료입니다. 이 강의는 이 글자 더미에서 위의 표를 만드는 20강입니다.

High school원자료는 표가 아니다

유전자 발현 자료라고 하면 보통 표 를 떠올린다. 행에 유전자, 열에 시료, 칸에 숫자. 논문에 실리는 것도 그 표다.

그런데 시퀀서에서 갓 나온 것은 표가 아니다. 글자 더미 다. A, C, G, T 가 줄줄이 적힌 파일이 몇 기가바이트. 이 강의는 그 글자 더미가 표가 되기까지 무슨 일이 벌어지는지를 손으로 따라가는 강의다.

왜 그 중간을 봐야 하나

요리에 비유하면, 우리는 완성된 요리(표)만 먹어 봤다. 그런데 그 요리가 짜다면 소금 탓인지 재료 탓인지 알아야 고칠 수 있다. 표에서 이상한 결과가 나왔을 때 어디를 의심할지 를 알려면 중간 공정을 봐야 한다.

표는 결론이 아니라 여러 결정이 쌓인 결과물이다

네 줄이 한 덩어리입니다. 세 덩어리만 찍어 봅니다.

Python Runs in your browser

# FASTQ 를 손으로 열어 봅니다. 라이브러리는 쓰지 않습니다 — 그냥 글자입니다.
import gzip

with gzip.open("WT_1.fq.bin", "rt") as f:
    for i in range(12):
        line = f.readline().rstrip("\n")
        tag = ["이름", "서열", "구분", "품질"][i % 4]
        print(f"{i//4 + 1}번째 read · {tag:<4} | {line[:78]}")

High school네 줄이 한 덩어리

FASTQ 파일은 네 줄이 한 세트 로 반복된다.

줄	내용	비유
1	@ 로 시작하는 이름표	택배 송장
2	염기 서열 (ACGT…)	내용물
3	+ 하나 (거의 항상 비어 있음)	칸막이
4	품질 점수 — 2줄과 길이가 같다	글자별 신뢰도

4번 줄이 이 형식의 핵심이다

서열만 있으면 FASTA 다. FASTQ 가 특별한 것은 글자 하나하나에 "얼마나 믿을 만한가" 가 붙어 있다 는 점이다. 2줄이 76글자면 4줄도 반드시 76글자다. 이 길이가 안 맞으면 파일이 깨진 것이다.

FASTQ = 서열 + 글자별 확신도. 이 짝이 전부다

가장 먼저 할 검사 세 가지 — 개수 · 길이 · 서열과 품질의 길이 일치.

Python Runs in your browser

import gzip

n = 0
lens = set()
bad = 0
with gzip.open("WT_1.fq.bin", "rt") as f:
    while True:
        h = f.readline()
        if not h:
            break
        s = f.readline().rstrip("\n")
        f.readline()                      # '+' 줄은 버린다
        q = f.readline().rstrip("\n")
        n += 1
        lens.add(len(s))
        if len(s) != len(q):              # 서열과 품질의 길이가 다르면 깨진 것
            bad += 1

print(f"read 수        : {n:,}")
print(f"read 길이 종류 : {sorted(lens)}")
print(f"길이가 어긋난 read : {bad}")
print()
print("모든 read 가 정확히 76 글자입니다 — 잘라 낸 흔적이 없는 원본이라는 뜻입니다.")

우리가 다루는 것과 원본의 크기

	원본(SRA)	이 강의
표본	7개	7개 (같음)
read	193,718,345	44,000
파일 크기	8.9 GB (gz)	2.1 MB
품질 통계	—	표본당 150만 read 로 미리 계산

브라우저에서 9 GB 를 다룰 수는 없습니다. 그래서 두 갈래로 나눴습니다.

품질 통계(3~8강) — 표본마다 150만 read 를 서버에서 미리 재어 두었습니다. 위젯이 보여 주는 숫자는 전부 그것입니다.
직접 만지는 read(1~2강, 9~20강) — 그중 44,000개를 골라 실었습니다. 파일 앞에서 자르지 않고 고르게 뽑았습니다 — 앞쪽 타일은 품질이 유난히 나쁘거든요.

High school2,500만 × 76 이 얼마나 되나

이 자료에는 read 가 약 2,500만 개 있고 각각 76글자 다. 곱하면 19억 글자. 감이 잘 안 오니 견주어 보자.

	글자 수
사람 유전체 전체	약 30억
이 시료 하나의 read	약 19억
국어사전 한 권	약 2천만

사람 유전체에 맞먹는 양을 한 시료 에서 읽었다. 그런데 이건 유전체를 읽은 게 아니라 RNA 를 읽은 것이다. 같은 유전자를 수백 번 반복해서 읽는다. 그 반복 횟수가 곧 발현량이다.

발현량 = 그 유전자에서 온 read 를 몇 번 봤나. 세는 일이 전부다

🎮 FASTQ 뷰어

실제 read 를 한 개씩 넘겨 보세요. 네 줄이 각각 무엇인지 짚어 줍니다.

High school왜 76글자로 잘라 읽나

RNA 분자 하나는 보통 수천 글자다. 그런데 왜 76글자만 읽나?

기계가 그것밖에 못 한다

일루미나 시퀀서는 염기를 한 번에 한 글자씩 형광으로 읽는다. 글자를 더할수록 신호가 흐려지고 오류가 쌓인다. 76이나 150 정도가 실용적인 한계다.

긴 두루마리를 조각조각 찢어서, 조각마다 앞부분만 읽고 버리는 것과 비슷하다. 대신 아주 많이 찢고 아주 많이 읽는다. 조각이 충분히 많으면 겹쳐서 원본을 복원할 수 있다.

비유가 깨지는 곳

두루마리 조각은 원래 있던 자리를 알 수 없지만, 우리는 참조 유전체 라는 완성된 원본을 이미 갖고 있다. 그래서 조각을 원본에 대보기만 하면 자리를 찾는다. 이것을 정렬(alignment)이라 하고, 9강에서 다룬다.

짧게 많이 읽고, 이미 아는 원본에 대본다 — 이것이 현대 시퀀싱의 전략이다

🤔 Check yourself

FASTQ 파일에서 3번째 줄(+)이 거의 늘 비어 있는 이유는?

Answer 초기 FASTQ 는 3번째 줄에 이름을 한 번 더 적었습니다. 파일 크기만 두 배로 만드는 일이라 지금은 + 한 글자만 남깁니다. 파서를 짤 때는 그 줄을 그냥 버리면 됩니다.

🤔 Check yourself

FASTQ 를 받았을 때 가장 먼저 확인할 것으로 알맞지 않은 것은?

🤔 Check yourself

이 강의가 실은 44,000 read 를 파일 앞에서 자르지 않고 고르게 뽑은 까닭은?