10강 / 20강

【실습】 두 표를 실제로 이어 붙인다 — 몇 개가 사라지나

같은 982줄을 네 가지 키로 조인해 본다

앞의 다섯 강에서 본 문제들을 한 번에 겪어 봅니다. 같은 자료를 네 가지 키로 조인하고, 각각 몇 줄이 남는지 셉니다.

실험 설계는 이렇습니다. MAF 982줄을 둘로 나눕니다. 한쪽은 '내 표', 다른 쪽은 '남의 데이터베이스' 라고 치고 이어 붙입니다. 같은 파일에서 나왔으니 완벽하게 붙어야 정상입니다.

고등학생실제로 이어 붙여 본다

지금까지 배운 함정들이 실제로 얼마나 영향을 주는지 세어 봅니다. 같은 982줄을 네 가지 키로 조인해요.

키	기대
유전자 이름	많이 붙지만 부정확
단백질 표기 (p.)	모호 — 여러 변이가 합쳐짐
rs 번호	결측이 많음
좌표 (chr:pos:ref>alt)	정확하지만 빌드가 맞아야 함

"몇 개가 붙었나"만이 아니라 "몇 개가 사라졌나"를 세는 것이 이 실습의 핵심입니다.

유전자 이름으로 조인하면 겹치지도 않는 변이 16가지가 딸려 옵니다. 유전자가 19개뿐인 표라 이 정도이고, 유전자 2만 개짜리 표에서는 훨씬 커집니다.

Python 브라우저에서 실행

import mut

# 줄이 아니라 **변이 단위**로 나눈다.
# 같은 변이가 여러 검체에 있으므로(11강) 줄로 나누면 조인이 줄을 불립니다.
variants = sorted({r["gkey"] for r in mut.rows()})
rep = {}
for r in mut.rows():
    rep.setdefault(r["gkey"], r)

mine    = set(variants[:400])
theirs  = set(variants[300:])
overlap = mine & theirs
print(f"서로 다른 변이 {len(variants)}가지")
print(f"내 표 {len(mine)} · 남의 표 {len(theirs)} · 실제 겹침 {len(overlap)}")
print()
for key, name in [("gkey", "유전체 좌표"), ("pkey", "유전자+단백질"), ("gene", "유전자 이름만")]:
    bk  = {rep[g][key] for g in theirs if rep[g][key]}
    hit = {g for g in mine if rep[g][key] and rep[g][key] in bk}
    print(f"  {name:<14} 매칭 {len(hit):>4}가지"
          f"  (맞음 {len(hit & overlap):>3} · 잘못 {len(hit - overlap):>3})")

고등학생조인의 종류

종류	남는 것	쓸 때
inner	양쪽에 다 있는 것만	확실한 것만 필요할 때
left	왼쪽 전부 + 붙는 오른쪽	사라지는 것을 보고 싶을 때
outer	양쪽 전부	차이를 다 보고 싶을 때

left join을 쓰면 안 붙은 줄이 빈칸으로 남습니다. inner join을 쓰면 그냥 사라져요. 그래서 확인 단계에서는 left를 씁니다.

inner join은 증거를 없애면서 결과를 만듭니다 — 확인이 끝난 뒤에 씁니다.

좌표로 조인하면 놓침도 오류도 0 입니다. 잘못 붙은 16가지는 표에서 진짜와 똑같이 생겼습니다 — 어느 것이 잘못인지 표만 봐서는 모릅니다.

Python 브라우저에서 실행

import mut

variants = sorted({r["gkey"] for r in mut.rows()})
rep = {}
for r in mut.rows():
    rep.setdefault(r["gkey"], r)
mine, theirs = set(variants[:400]), set(variants[300:])
overlap = mine & theirs

print("키               맞게붙음  잘못붙음   놓침")
for key, name in [("gkey", "유전체 좌표"), ("pkey", "유전자+단백질"), ("gene", "유전자 이름")]:
    bk  = {rep[g][key] for g in theirs if rep[g][key]}
    hit = {g for g in mine if rep[g][key] and rep[g][key] in bk}
    tp, fp = len(hit & overlap), len(hit - overlap)
    print(f"  {name:<14} {tp:>6} {fp:>9} {len(overlap) - tp:>7}")
print()
print("→ 유전체 좌표는 놓침도 오류도 0 입니다.")
print("  유전자 이름은 놓치지는 않는데 겹치지도 않는 변이 16가지를 끌어옵니다.")
print("  단백질 이름은 이 나눔에서는 무사했습니다 — 모호한 17건(6강)이")
print("  마침 겹치는 구간에 없었을 뿐입니다. 다음 나눔에서는 깨집니다.")

이제 진짜 문제 — 키를 망가뜨려 본다

실무에서는 남의 표가 이미 망가져 있습니다. 빌드가 다르거나, 정규화가 안 되어 있거나, 유전자 이름이 옛 것입니다. 각각 얼마나 손해인지 셉니다.

고등학생붙지 않은 줄을 들여다보기

안 붙은 줄을 몇 개 골라 눈으로 보면 원인이 대개 드러납니다.

패턴	의심할 원인	강
chr 접두어가 한쪽에만	형식 불일치	4강
좌표가 크게 다름	빌드 차이	7강
인델만 안 붙음	정규화 안 됨	9강
특정 유전자만 안 붙음	이름 변경	8강
rs가 빈칸	체세포 변이	5강

안 붙은 줄 열 개만 눈으로 보면 대개 원인이 보입니다.

chr 접두사 하나로 전멸합니다. 정규화가 안 되어 있으면 삽입·결실만 조용히 빠지고 — 이쪽이 훨씬 위험합니다.

Python 브라우저에서 실행

import mut

rows = mut.rows()
shift = mut.LIFTOVER["hg19"] - mut.LIFTOVER["hg38"]

def keyset(rs, damage=None):
    out = set()
    for r in rs:
        pos = r["pos"]
        if damage == "build":
            pos -= shift                                   # 빌드가 다르다
        k = f"{r['chrom']}:{pos}:{r['ref']}>{r['alt']}"
        if damage == "indel" and r["vtype"] in ("DEL", "INS"):
            k = f"{r['chrom']}:{pos + 1}:{r['ref']}>{r['alt']}"   # 정규화 안 됨
        if damage == "chr":
            k = "chr" + k                                   # chr 접두사가 붙어 있다
        out.add(k)
    return out

base = {r["gkey"] for r in rows}
print("내 표의 서로 다른 변이", len(base), "가지")
print("(남의 표도 같은 변이 목록입니다 — 멀쩡하면 100% 붙어야 정상)")
print()
for dmg, name in [(None, "멀쩡한 표"), ("chr", "chr 접두사가 붙음"),
                  ("indel", "삽입·결실 정규화 안 됨"), ("build", "빌드가 다름")]:
    got = base & keyset(rows, dmg)
    print(f"  {name:<22} {len(got):>4}가지  ({len(got) / len(base) * 100:5.1f}%)")

SNP 는 100%, 삽입·결실은 0%. 그런데 전체는 88.7% 로 찍힙니다 — 종류별로 나눠 세지 않으면 이 구멍이 절대 안 보입니다.

Python 브라우저에서 실행

import mut

rows = mut.rows()

# 남의 표가 정규화만 안 되어 있다 — 나머지는 멀쩡하다
def keyset(rs, break_indel):
    out = set()
    for r in rs:
        pos = r["pos"] + (1 if (break_indel and r["vtype"] in ("DEL", "INS")) else 0)
        out.add(f"{r['chrom']}:{pos}:{r['ref']}>{r['alt']}")
    return out

theirs = keyset(rows, True)

print("변이 종류별 매칭률 (정규화 안 된 표와 조인)")
for vt in ["SNP", "DEL", "INS"]:
    sub = [r for r in rows if r["vtype"] == vt]
    hit = sum(1 for r in sub if r["gkey"] in theirs)
    print(f"  {vt:<4} {hit:>4}/{len(sub):<4} = {hit / len(sub) * 100:5.1f}%")
allhit = sum(1 for r in rows if r["gkey"] in theirs)
print()
print(f"  전체 {allhit}/{len(rows)} = {allhit / len(rows) * 100:.1f}%   ← 이 숫자만 보면 못 잡습니다")

고등학생조인 결과를 보고할 때

논문이나 보고서에 조인 결과를 쓸 때 반드시 적어야 할 것들입니다.

적을 것	예
입력 줄 수	982줄, 629종
조인 키	chr:pos:ref>alt (hg38)
붙은 수	N개 (X%)
안 붙은 수와 이유	M개 — 빌드 변환 실패 등
데이터베이스 버전	COSMIC v102, 접근 날짜

"안 붙은 수와 이유"를 적는 순간, 남이 그 분석을 믿을 수 있게 됩니다.

🤔 확인 문제

유전자 이름으로 조인했을 때 이 실습에서 일어난 일은?

🤔 확인 문제

조인 뒤 전체 매칭률만 보면 놓치는 것은?