7강 / 20강

적혀 있어도 못 읽는다 — '?' 와 '10 to 34'

GSE26927 의 post-mortem delay 와 age at death

좋은 소식부터. GSE26927 은 메타데이터가 훌륭한 시리즈입니다. 표본마다 이런 것들이 적혀 있어요.

disease: Amyotrophic lateral sclerosis
gender: M
age at death (in years): 70
illness duration (in years): 1.4
post-mortem delay: 13.00

병, 성별, 사망 나이, 이환 기간, 사후지연. 교란을 다루려면 딱 필요한 것들입니다. 112개 표본에 사후지연이 적혀 있어요.

그런데 값들을 열어 보면.

고등학생적혀 있어도 못 읽는다

메타데이터에 값이 있는데 숫자로 못 바꾸는 경우가 있다.

적힌 값	문제
?	모른다는 표시
10 to 34	범위
>24	부등호
N/A	결측

사람은 읽을 수 있는데 프로그램은 못 읽는 값들

읽히는 값

13.00 · 5.50 · 7.85 · 9.60 · 24.00
소수점까지 적혀 있습니다. 좋아요.

안 읽히는 값

? — 모른다는 뜻
10 to 34 — 범위. 역시 모른다는 뜻
(빈칸) — 아예 없음
그리고 age at death 에도 ? 가 있습니다.

고등학생'10 to 34' 를 어떻게 다루나

선택	문제
중간값 22 로	임의적
결측으로	정보 손실
범위로 유지	계산이 복잡
구간 변수로	정보 일부 유지

어느 것도 완벽하지 않다

원래 자료에 정확한 값이 없다. 그것을 만들어 낼 수는 없다.

그러니 명시해야 한다

"범위로 적힌 값은 중간값으로 처리했다" 를 적어야 한다.

없는 정보를 만들 수는 없고, 어떻게 처리했는지 밝힐 수는 있다

방법 2 가 가장 위험합니다 — 조용하니까요.

Python 브라우저에서 실행

# 이런 값을 다루는 세 가지 방법과 그 결과.
raw = ["13.00", "5.50", "?", "10 to 34", "", "24.00", "7.85", "?", "9.60"]

# 방법 1 — 그냥 float(). 죽습니다.
print("### 방법 1: float() 그대로")
try:
    vals = [float(v) for v in raw]
except ValueError as e:
    print("  ValueError:", e)

# 방법 2 — try/except 로 조용히 건너뛴다. 죽지는 않는데...
print()
print("### 방법 2: 조용히 건너뛰기")
vals = []
for v in raw:
    try: vals.append(float(v))
    except ValueError: pass
print(f"  {len(vals)}개 살아남음 (원래 {len(raw)}개)")
print(f"  평균 {sum(vals)/len(vals):.2f}시간")
print("  문제: 몇 개를 잃었는지 아무도 모릅니다")

# 방법 3 — 세어 가며 건너뛴다.
print()
print("### 방법 3: 세어 가며 건너뛰기")
vals, bad = [], []
for v in raw:
    v = v.strip()
    if not v: bad.append("(빈칸)"); continue
    try: vals.append(float(v))
    except ValueError: bad.append(v)
print(f"  읽힘 {len(vals)} / 못 읽음 {len(bad)} : {bad}")
print(f"  평균 {sum(vals)/len(vals):.2f}시간  (표본 {len(vals)}개 기준)")

고등학생'?' 가 뜻하는 것

가능성	내용
측정 안 함	—
기록 분실	—
공개 불가	개인정보

이유에 따라 다르게 다뤄야 한다

무작위 결측 이면 그냥 빼도 된다.

체계적 결측 이면 편향 이 생긴다.

확인하는 법

결측인 표본과 아닌 표본이 다른 성질 을 갖는지 본다.

예를 들어 한 군에만 결측이 몰려 있으면 문제다.

결측이 무작위인지 확인하지 않으면 그것을 빼는 것이 편향을 만든다

결측을 버리는 것은 표본을 다시 고르는 것과 같습니다.

Python 브라우저에서 실행

# 결측이 한쪽에 몰려 있으면 어떻게 되는가.
import numpy as np
rng = np.random.default_rng(11)

n = 100
group = np.array(["als"] * 50 + ["ctrl"] * 50)
# 환자 표본의 기록이 더 부실하다고 해 봅시다
missing = np.where(group == "als", rng.random(n) < 0.45, rng.random(n) < 0.15)

print(f"전체         : ALS {(group=='als').sum()}  대조 {(group=='ctrl').sum()}")
kept = ~missing
print(f"결측 버린 뒤 : ALS {(kept & (group=='als')).sum()}  대조 {(kept & (group=='ctrl')).sum()}")
print()
r0 = (group=='als').sum() / (group=='ctrl').sum()
r1 = (kept & (group=='als')).sum() / (kept & (group=='ctrl')).sum()
print(f"환자/대조 비율이 {r0:.2f} 에서 {r1:.2f} 로 바뀌었습니다.")
print("표본을 '버렸을' 뿐인데 연구 설계가 달라졌어요.")

그래서 이 강의는 사후지연을 보정에 쓰지 않았습니다. 대신 몇 개가 안 읽혔는지 세어서 기록했어요.

그건 문제를 푼 게 아닙니다. 문제가 있다는 것을 적어 둔 것입니다. 그것만으로도 안 적는 것보다 낫습니다.

고등학생결측 때문에 포기해야 할 때

상황	대응
결측이 소수	제외하고 진행
결측이 다수	그 변수를 포기
결측이 한 군에 몰림	보정 불가 — 명시

post-mortem delay 를 포기하면

4강에서 본 보정을 못 한다.

그러면 결과 해석에 그 한계 를 적어야 한다.

이것이 공개 자료의 현실이다

필요한 변수가 없거나 못 읽는 경우가 흔하다.

보정할 수 없으면 보정하지 않았다고 적는다 — 그것이 할 수 있는 최선이다

🤔 확인 문제

try: float(v) except: pass 로 못 읽는 값을 건너뛰는 것이 위험한 이유는?

🤔 확인 문제

사후지연이 결측인 표본을 버리는 것이 공짜가 아닌 이유는?