Lesson 17 of 20

GEO 에 없는 것들 — 공개편향과 표본 중복

저장소가 보여 주지 않는 것 · 같은 환자가 두 번 세어지는 경우

GEO 에 시리즈가 294,462개 있습니다. 그럼 이건 세상의 실험 전체일까요?

아닙니다. GEO 에 올라온 것은 논문이 된 것들입니다. 그리고 논문이 되려면 대개 결과가 나와야 해요.

High school공개편향이 결과를 어느 쪽으로 미나

차이가 큰 실험이 논문이 되기 쉽습니다. 그래서 GEO에 올라온 자료들은 평균적으로 효과가 부풀려져 있습니다.

	수행된 모든 연구	GEO에 올라온 연구
효과가 큰 것	일부	대부분
효과가 없는 것	많음	드묾
평균 효과크기	실제 값	실제보다 큼

메타분석은 이 부풀림을 고치지 못합니다. 있는 것만 합치니까요. 오히려 여러 개를 합쳐서 신뢰구간을 좁히는 바람에 틀린 값을 더 자신 있게 말하게 됩니다.

보통은 깔때기 그림(funnel plot)으로 편향을 진단하는데, 그건 연구가 수십 개일 때 이야기예요. 넷으로는 못 그립니다.

공개편향을 잡는 고전적인 그림이 깔때기 그림(funnel plot) 입니다.

편향이 없으면

가로축 효과크기, 세로축 정밀도.
큰 연구는 가운데 모이고 작은 연구는 좌우로 퍼져 대칭인 깔때기가 됩니다.

편향이 있으면

작은 연구 중 효과가 큰 것만 살아남아
깔때기의 한쪽 아래가 비어 보입니다.

다만 이 강의는 시리즈가 넷뿐이라 깔때기 그림을 그릴 수 없습니다. 점 네 개로 대칭을 논할 수는 없어요. 최소 열 개는 있어야 합니다.

유의한 것만 남기면 진짜보다 두 배 넘게 부풀 수 있습니다.

Python Runs in your browser

# 공개편향이 합친 값을 얼마나 부풀리는가 — 실험해 봅니다.
import numpy as np
rng = np.random.default_rng(42)

true_g = 0.5
n_studies = 200
sizes = rng.integers(6, 60, n_studies)
se = 2.0 / np.sqrt(sizes)
observed = rng.normal(true_g, se)

def combine(g, s):
    w = 1 / s**2
    return (w * g).sum() / w.sum()

print(f"진짜 효과크기      : {true_g:.3f}")
print(f"연구 전체로 합치면 : {combine(observed, se):.3f}")

# 이제 '유의한 것만 발표된다' 는 규칙을 넣습니다
z = observed / se
published = np.abs(z) > 1.96
print()
print(f"발표된 연구        : {published.sum()} / {n_studies}")
print(f"발표된 것만 합치면 : {combine(observed[published], se[published]):.3f}")
print()
print(f"부풀림 : {combine(observed[published], se[published]) / true_g:.2f} 배")

두 번째 문제는 표본 중복입니다.

같은 환자의 조직이 두 시리즈에 들어 있을 수 있어요. 한 병원에서 같은 조직 은행을 여러 연구가 나눠 쓰거든요. 그럼 그 환자가 두 번 세어집니다.

High school같은 환자가 두 번 세어지는 경우

더 조용한 문제가 있습니다. 한 연구실이 같은 환자 코호트로 논문을 두 편 쓰고, GEO에 두 시리즈를 올리는 일이 있어요. 표본 일부가 겹칩니다.

설문 결과를 합칠 때 같은 사람이 두 번 답한 걸 모르고 세는 것과 같습니다. 표본 수가 늘어난 것처럼 보이지만 새 정보는 없어요.

중복이 낳는 착각	왜
신뢰구간이 실제보다 좁음	독립 표본으로 세었으니까
이질성 I²가 낮게 나옴	같은 환자니 값이 비슷
"두 시리즈에서 재현됐다"는 착각	재현이 아니라 같은 것

중복은 일치처럼 보입니다 — 그래서 가장 발견하기 어렵습니다.

중복은 표본을 늘리지 않으면서 표준오차만 줄입니다. 가장 나쁜 조합이에요.

Python Runs in your browser

# 중복 표본이 표준오차를 어떻게 속이는가.
from math import sqrt

n1, n0 = 40, 20
se_honest = sqrt((n1+n0)/(n1*n0))
print(f"표본 60개(40/20) 의 SE : {se_honest:.4f}")

# 이 중 15명이 다른 시리즈와 겹친다면, 실제 독립 표본은 45명
n_dup = 15
se_real = sqrt((n1+n0-n_dup)/((n1-n_dup)*n0)) if n1 > n_dup else float("nan")
print(f"15명이 중복이면 실제 SE : {se_real:.4f}")
print()
print(f"우리는 SE 를 {se_honest/se_real*100:.0f}% 수준으로 작게 믿고 있었습니다.")
print("= 확신을 실제보다 크게 갖고 있었다는 뜻입니다.")

정리하면, 메타분석에서 시리즈를 고르는 일은 통계가 아니라 판단입니다. 그리고 그 판단을 적어 두는 것이 방법의 일부예요.

📋

찾은 조건

어떤 검색어로, 언제, 몇 개가 나왔는가

✂️

뺀 이유

각각 왜 뺐는가 — 표본 부족, 조직 불일치, 중복 의심

🔢

남은 수

단계마다 몇 개가 남았는가 (PRISMA 흐름도)

High school중복을 찾아내는 법

GEO는 "이 시리즈는 저 시리즈와 환자가 겹칩니다"라고 알려 주지 않습니다. 직접 찾아야 해요.

단서	확인 방법
같은 연구실	Series의 contact, contributor 필드 비교
같은 논문 계열	PubMed ID를 따라가 저자·기관 확인
같은 등록 시기	submission date가 붙어 있음
표본 자체가 닮음	발현 프로파일 상관 — 0.99 이상이면 의심

마지막 방법이 가장 확실하지만 플랫폼이 다르면 쓸 수 없습니다. 우리 네 시리즈는 기관과 시기가 다르니 중복 위험이 낮지만, "낮다"는 것과 "없다"는 것은 다릅니다. 20강 한계 목록에 들어갈 항목이에요.

🤔 Check yourself

GEO 에서 특정 질병 시리즈를 전부 모아도 그것이 '실험 전체'가 아닌 이유는?

🤔 Check yourself

이 강의가 깔때기 그림을 그리지 않은 이유는?

🤔 Check yourself

같은 환자가 두 시리즈에 들어 있을 때 생기는 가장 큰 문제는?