9강 / 20강

표를 읽는다 — CSV 와 TSV

발현량 표는 결국 쉼표(또는 탭)로 나뉜 글자입니다

발현량 표, 표본 정보, 유전자 목록 — 생물정보학의 자료는 거의 다 표입니다. 그 표를 담는 파일이 CSV 와 TSV 예요.

CSV — 쉼표로

gene,desert,inflamed
DDX54,12.4,5.1

흔하다. 다만 값 안에 쉼표가 들어가면 골치

TSV — 탭으로

gene→desert→inflamed
DDX54→12.4→5.1

생물정보학이 더 즐겨 쓴다 — 이름에 쉼표는 있어도 탭은 없으니까

둘의 차이는 구분자 하나뿐입니다.

고등학생생물정보학 자료는 거의 다 표입니다

발현량 표, 표본 정보, 유전자 목록 — 전부 표입니다. 그리고 그 표를 담는 파일이 CSV 와 TSV 예요.

둘의 차이는 딱 하나

	CSV	TSV
무엇으로 나누나	쉼표 ,	탭 (Tab 키)
이름 뜻	Comma-Separated Values	Tab-Separated Values
어디서 흔한가	일반적으로 널리	생물정보학

구분자 하나 차이다 — 나머지는 똑같다

왜 생물정보학은 탭을 좋아하나

이름에 쉼표가 들어갈 수 있기 때문입니다.

유전자 설명에 "DEAD-box helicase 54, isoform 1" 같은 게 들어가면? 쉼표 때문에 열이 하나 더 생긴 것처럼 읽힙니다. 표가 어긋나요.

탭은 이름 안에 거의 안 들어갑니다. 그래서 더 안전해요.

비유 — 주소를 쉼표로 나누기

서울시, 강남구, 역삼동 123-4, 5층

여기서 서울시, 강남구 는 두 칸인데, 역삼동 123-4 안의 하이픈은 나누지 않죠.

그런데 만약 주소에 쉼표가 원래 들어 있다면? 어디까지가 한 칸인지 알 수가 없어집니다.

구분자로 쓰는 글자는 내용에 없어야 한다

그래서 진짜 CSV 는 따옴표로 감싸는 규칙이 있습니다. 그런데 그 규칙이 또 복잡해서, 아예 탭을 쓰는 쪽이 편한 거예요.

파일에서 읽은 값은 <b>전부 글자</b>입니다. 숫자로 바꿔야 계산이 됩니다.

Python 브라우저에서 실행

# 표를 손으로 읽어 본다 — 무엇이 일어나는지 보려고
표 = 'gene\tdesert\tinflamed\nDDX54\t12.4\t5.1\nCD47\t8.9\t3.2\nCD38\t4.2\t1.8\nGAPDH\t210.5\t208.9\n'

줄들 = 표.strip().split("\n")
머리 = 줄들[0].split("\t")
print("머리글:", 머리)
print()

자료 = []
for 줄 in 줄들[1:]:
    칸 = 줄.split("\t")
    자료.append({
        "gene": 칸[0],
        "desert": float(칸[1]),      # 글자를 숫자로 바꿔야 계산이 된다
        "inflamed": float(칸[2]),
    })

for r in 자료:
    비 = r["desert"] / r["inflamed"]
    print(f"  {r['gene']:<8}{r['desert']:>8.1f}{r['inflamed']:>9.1f}   {비:>5.2f}배")

print()
print("float() 을 빼먹으면 '12.4' + '5.1' 이 '12.45.1' 이 됩니다 — 글자끼리 붙어요.")

고등학생표를 읽는 순서

코드가 표를 읽는 과정을 봅시다. 늘 같은 순서입니다.

단계	하는 일	주의
① 줄로 나눈다	줄바꿈으로 자른다	마지막 빈 줄
② 첫 줄은 머리글	열 이름이다	자료가 아니다
③ 나머지를 구분자로 나눈다	`.split(",")`	칸 수가 맞나
④ 숫자로 바꾼다	`float()`	가장 자주 틀리는 곳

④번을 강조하고 싶습니다

파일에서 읽은 것은 전부 글자다

2강에서 배운 그것입니다. "12.4" 는 숫자가 아니라 글자예요. 그대로 더하면 이어 붙습니다.

float("12.4") 로 바꿔 줘야 합니다.

그런데 바꿀 수 없는 값이 섞여 있습니다

파일에 있는 값	`float()` 하면
`12.4`	12.4 ✔
`NA`	ValueError ✘
`""` (빈 칸)	ValueError ✘
`N/A` · `-` · `NaN`	전부 ✘

실제 자료에는 결측값이 반드시 있다

측정을 못 했거나, 값이 없거나, 실험이 실패했거나 — 이유는 다양한데 결과는 같습니다. 숫자 자리에 글자가 있어요.

그래서 미리 막습니다

7강의 가장자리 경우 이야기가 여기서 실전으로 나옵니다. 읽는 함수 안에서 "숫자로 못 바꾸면 건너뛰거나 None 으로" 처리해 두면 부르는 쪽이 편해져요.

11강의 pandas 는 이걸 알아서 해 줍니다 — NaN 이라는 특별한 값으로요. 그래서 다들 pandas 를 씁니다.

고등학생엑셀이 유전자 이름을 날짜로 바꾼 사건

이 note 가 생물정보학에서 가장 유명한 사고 이야기입니다. 재미있고, 무섭고, 교훈이 큽니다.

무슨 일이 있었나

유전자 중에 SEPT2 라는 것이 있습니다 (Septin 2). 이걸 엑셀에서 열면?

SEPT2 → 2-Sep (9월 2일)

엑셀이 "아, 날짜구나" 하고 친절하게 바꿔 줍니다. 그리고 저장하면 원래 이름은 영영 사라집니다.

얼마나 흔했나

2016년 조사 — 유전체 논문 부록의 약 20% 에 이런 손상이 있었다

다섯 편 중 한 편입니다. 국제 학술지에 실린 논문들이요. 아무도 눈치채지 못했어요.

결말이 놀랍습니다

너무 흔해서 결국 유전자 이름 쪽을 바꿨습니다.

SEPT2 는 이제 SEPTIN2 다

엑셀을 고치는 게 아니라 생물학이 항복한 겁니다. 소프트웨어의 기본 동작 하나가 유전자 이름 체계를 바꾼 사건이에요.

교훈 — 그래서 코드로 읽습니다

표를 엑셀로 열지 말고 코드로 읽어라

엑셀은 도와주려고 값을 바꿉니다. 좋은 의도예요. 그런데 도움을 원하지 않을 때도 바꿉니다.

원본	엑셀이 바꾸는 것
`SEPT2`	2-Sep
`0012345`	12345 (앞의 0 이 사라진다)
`1/2`	1월 2일
아주 긴 숫자	1.23E+15 (정밀도가 사라진다)

자동으로 도와주는 도구는 자동으로 망가뜨린다

코드는 시킨 것만 합니다. 답답해 보이지만 그게 장점이에요.

🤔 확인 문제

생물정보학에서 CSV 보다 TSV 를 자주 쓰는 이유는?