Lesson 8 of 20

빈칸에도 종류가 있다 — 없는 것과 안 잰 것과 해당 없는 것

병기 열의 4,345개 빈칸

임상표를 열면 빈칸이 많습니다. 그런데 빈칸은 한 종류가 아니에요.

❓

안 쟀다

쟀어야 하는데 기록이 없다

🚫

해당 없다

이 암종에는 그 병기 체계가 없다

🔒

가렸다

재식별 위험으로 지웠다

셋을 구별하지 않고 dropna() 한 줄로 지우면, 남은 자료가 무엇을 대표하는지 알 수 없게 됩니다.

High school빈칸에도 종류가 있다

임상 표의 빈칸이 다 같은 뜻이 아닙니다.

빈칸의 뜻	예
정말 없음	남성 환자의 임신 이력
안 쟀음	그 병원이 기록 안 함
해당 없음	그 암종에 없는 병기 체계
모름	기록이 소실

넷을 같이 다루면 결론이 틀립니다.

교모세포종(GBM) · 저등급신경교종(LGG) 은 병기가 100% 비어 있습니다.

Python Runs in your browser

import pandas as pd

c = pd.read_csv("tcga_clinical.tsv", sep="\t", dtype={"stage": str})
print("병기 열의 빈칸:", format(c["stage"].isna().sum(), ","), "/", format(len(c), ","))
print()
print("어느 암종이 병기를 안 갖고 있나 — 빈칸 비율 높은 순")
비율 = c.groupby("type")["stage"].apply(lambda s: s.isna().mean())
for t, r in 비율.sort_values(ascending=False).head(8).items():
    print("   %-6s %5.0f%%   (표본 %d)" % (t, 100 * r, (c["type"] == t).sum()))

High school병기 열의 4,345개 빈칸

왜 그렇게 많나	내용
암종마다 병기 체계가 다름	백혈병에는 TNM 병기가 없음
기관마다 기록 방식이 다름	—
표기 불일치	"Stage IIA" vs "IIA" vs "2A"

암종별로 나눠 보면 빈칸이 몰려 있는 것이 보입니다.

Stage I 와 Stage IA 와 Stage IB 가 따로 있습니다.

Python Runs in your browser

import pandas as pd

c = pd.read_csv("tcga_clinical.tsv", sep="\t", dtype={"stage": str})
print("병기 열에 실제로 적힌 값들 — 위에서 열두 개")
for v, n in c["stage"].fillna("(빈칸)").value_counts().head(12).items():
    print("   %-22s %6s" % (v, format(n, ",")))

High school빈칸을 다루는 법

방법	내용	주의
제외	그 환자를 뺌	편향 — 왜 빈칸인지에 따라
"Unknown" 범주	하나의 값으로	해석이 어려움
대체	추정값을 넣음	가정이 필요

빈칸이 무작위가 아니면 제외가 편향을 만듭니다 — 진행암일수록 기록이 많을 수 있어요.

116 대 480 대 277. 거르는 방법 하나로 표본 수가 네 배 넘게 달라집니다.

Python Runs in your browser

import pandas as pd

c = pd.read_csv("tcga_clinical.tsv", sep="\t", dtype={"stage": str})
lu = c[c["type"] == "LUAD"]
st = lu["stage"].fillna("")

print("== 흔히 하는 세 가지 방법 ==")
print("정확히 'Stage I'        :", (st == "Stage I").sum())
print("'Stage I' 로 시작       :", st.str.startswith("Stage I").sum(), "  ← II·III·IV 도 걸린다")
print()
print("== 제대로 ==")
일기 = st.isin(["Stage I", "Stage IA", "Stage IB"])
print("1기만 정확히           :", 일기.sum())
print("LUAD 전체              :", len(lu))

긴 것부터 확인하는 것이 요령입니다 — IV 를 먼저 보지 않으면 I 로 잡혀요.

Python Runs in your browser

import pandas as pd

c = pd.read_csv("tcga_clinical.tsv", sep="\t", dtype={"stage": str})

# 로마숫자만 뽑아 큰 단위로 묶는 방법
def 대분류(s):
    if not isinstance(s, str) or not s.startswith("Stage "):
        return None
    몸통 = s[6:]
    for 기 in ["IV", "III", "II", "I"]:
        if 몸통.startswith(기):
            return 기
    return None

lu = c[c["type"] == "LUAD"].copy()
lu["기"] = lu["stage"].map(대분류)
print(lu["기"].value_counts(dropna=False).to_string())

High school표기 정리

원본	정리 후
Stage IIA · Stage IIB · IIA	II
[Not Available] · [Unknown] · NA	결측
[Discrepancy]	결측 또는 별도 처리

TCGA는 대괄호 표기를 씁니다 — [Not Available]은 문자열이지 빈칸이 아니에요.

그냥 읽으면 이것들이 하나의 범주가 됩니다. 반드시 결측으로 변환해야 해요.

🤔 Check yourself

GBM 의 병기 열이 전부 비어 있습니다. 어떻게 해야 하나요?

🤔 Check yourself

stage.str.startswith("Stage I") 의 문제는?