6강 / 20강

어긋난 특성 줄 — GSE20589 의 세 번째 줄이 표본마다 다르다

Sample_characteristics_ch1 · GSE20589 실제 값

GEO 의 특성 칸은 줄 단위로 저장됩니다. 보통은 줄 하나가 하나의 항목이에요 — 첫 줄은 조직, 둘째 줄은 성별, 셋째 줄은 나이, 이런 식으로.

많은 코드가 이 규칙을 믿고 씁니다. characteristics[2] 로 나이를 꺼내는 식이죠. 그런데 GSE20589 에서는 그게 안 됩니다.

고등학생어긋난 특성 줄

GEO 자료의 메타데이터는 Sample_characteristics_ch1 같은 필드에 들어 있다.

그런데 형식이 자유롭다

표본	세 번째 줄
A	age: 65
B	sex: male
C	age: 72

같은 위치에 다른 항목 이 들어 있다.

위치로 읽으면 틀리고, 이름으로 읽어야 한다

실제 값을 그대로 옮겨 봤습니다.

첫째 줄 : "tissue: cervical spinal cord"   (표본 전부 같다 — 괜찮다)

둘째 줄 : "cell type: motor neuron"              <- 대조 표본들
          "disease status: SOD1 mutant individual" <- SOD1 표본들

셋째 줄 : "disease status: Neurologically normal control"  <- 대조 표본들
          "cell type: motor neuron"                        <- SOD1 표본들

둘째 줄과 셋째 줄의 내용이 표본에 따라 뒤바뀌어 있습니다.

고등학생왜 이런 일이 생기나

이유	내용
자유 형식	GEO 가 강제하지 않음
수작업 입력	사람이 채움
표본마다 있는 정보가 다름	어떤 것은 나이가 없음

세 번째가 근본 원인이다

어떤 표본에 나이가 없으면 그 줄이 비고, 뒤의 것들이 당겨진다.

그러면 위치가 어긋난다.

결측이 있으면 위치가 밀린다 — 그것이 위치로 읽으면 안 되는 이유다

줄 번호가 아니라 열쇠 이름으로 찾아야 합니다.

Python 브라우저에서 실행

# GSE20589 의 실제 특성 줄. 표본 넷만 옮겼습니다.
samples = {
    "Control 05-07": ["tissue: cervical spinal cord",
                      "cell type: motor neuron",
                      "disease status: Neurologically normal control"],
    "Control CC2":   ["tissue: cervical spinal cord",
                      "cell type: motor neuron",
                      "disease status: Neurologically normal control"],
    "SOD1 #1":       ["tissue: cervical spinal cord",
                      "disease status: SOD1 mutant individual",
                      "cell type: motor neuron"],
    "SOD1 #2":       ["tissue: cervical spinal cord",
                      "disease status: SOD1 mutant individual",
                      "cell type: motor neuron"],
}

print("### 나쁜 방법 — 줄 번호를 믿는다")
for name, rows in samples.items():
    print(f"  {name:16s} rows[1] = {rows[1]}")
print()
print("### 좋은 방법 — 전부 이어 붙이고 열쇠로 찾는다")
for name, rows in samples.items():
    joined = " | ".join(rows)
    status = "?"
    for part in joined.split(" | "):
        if part.lower().startswith("disease status:"):
            status = part.split(":", 1)[1].strip()
    print(f"  {name:16s} -> {status}")

고등학생어떻게 읽어야 하나

방법	내용
위치로	틀림
이름표로	"age:" 로 시작하는 줄을 찾음

그런데 이름표도 제각각이다

같은 뜻	다른 표기
나이	age · age at death · Age
성별	sex · gender · Sex

그러니 정규화가 필요하다

소문자로 바꾸고, 여러 표기를 하나로 매핑한다.

공개 자료를 쓰려면 그 자료를 정리하는 코드를 먼저 써야 한다

없는 열쇠를 물어도 조용히 기본값이 나옵니다 — 프로그램이 안 죽어요.

Python 브라우저에서 실행

# 이 강의가 실제로 쓰는 함수. 스무 줄입니다.
def joined(sample_fields):
    return " | ".join(sample_fields)

def find(text, key, default=None):
    for part in text.split("|"):
        part = part.strip()
        if part.lower().startswith(key.lower() + ":"):
            return part.split(":", 1)[1].strip()
    return default

t = joined(["tissue: cervical spinal cord",
            "disease status: SOD1 mutant individual",
            "cell type: motor neuron"])

print("조직   :", find(t, "tissue"))
print("병상태 :", find(t, "disease status"))
print("세포   :", find(t, "cell type"))
print("나이   :", find(t, "age", "적혀 있지 않음"))

고등학생이런 문제를 발견하는 법

확인	내용
파싱 결과를 눈으로 본다	나이가 'male' 이면 이상
값의 범위를 확인	나이가 0~120 인가
결측 비율	너무 많으면 파싱 오류
분포를 그린다	이상한 모양

두 번째가 값싸고 효과적이다

"나이" 열에 숫자가 아닌 것 이 있으면 즉시 알아챈다.

자동으로 넘어가면 안 된다

파싱이 조용히 실패하면 잘못된 자료로 분석하게 된다.

파싱한 결과를 검사하는 것이 파싱 코드의 일부다

🤔 확인 문제

GSE20589 에서 characteristics[1] 로 세포 종류를 꺼내면?

🤔 확인 문제

특성 줄을 통째로 이어 붙여 다루는 방법의 장점은?