3강 / 20강

특징 — 모형보다 여기서 판가름 난다

표로 만드는 일 · 눈금 맞추기 · 없는 값

기계학습 알고리즘이 받는 것은 언제나 같은 모양입니다 — 행이 표본, 열이 특징인 표.

           유전자A   유전자B   나이   병기
  환자 1      3.2      0.1     61     2
  환자 2      7.8      2.4     54     3
  환자 3      1.1      0.0     73     1
  ...          ...      ...    ...   ...
                                      ↑ 이건 정말 '수' 인가?

슬라이드 이미지도, 서열도, 임상 기록도 이 표로 만들어야 합니다. 그리고 대개 모형보다 이 단계에서 성능이 갈립니다.

고등학생모형보다 여기서 판가름 난다

이 강의 부제가 실무의 진실입니다.

좋은 특징 + 단순한 모형 > 나쁜 특징 + 좋은 모형

특징이 뭔가

모형에게 보여 주는 숫자들입니다. 한 줄이 한 대상, 한 열이 한 특징이죠.

환자	나이	혈압	유전자A
1	52	130	3.2
2	67	145	1.8

모형은 이 표만 본다 — 표에 없는 것은 모른다

그래서 무엇을 넣느냐가 전부입니다

넣지 않으면	결과
중요한 정보	아무리 좋은 모형도 못 맞힌다
—	—
넣으면	결과
답이 새는 정보	가짜 고득점 (16강) ⚠

모자라도 문제, 너무 많아도 문제다

비유 — 수사

증거	결과
핵심 증거가 없다	못 푼다
답이 적힌 쪽지가 있다	푼 게 아니다

"쉽게 풀렸다" 면 쪽지가 섞였는지 본다 — 16강

표준화 하나로 정확도가 크게 달라집니다. <b>모형을 바꾸기 전에 표를 보세요.</b>

Python 브라우저에서 실행

# 눈금이 안 맞으면 거리 기반 방법이 통째로 망가진다
import numpy as np
rng = np.random.default_rng(21)

n = 200
age = rng.normal(60, 10, n)          # 대략 40~80
expr = rng.normal(0, 1, n)           # 대략 -3~3
# 진실: 결과는 발현량만 따른다. 나이는 아무 상관 없다
y = (expr > 0).astype(int)

def knn_acc(X, y, k=15):
    hit = 0
    for i in range(len(X)):
        d = ((X - X[i])**2).sum(1)
        d[i] = np.inf
        nb = np.argsort(d)[:k]
        hit += (y[nb].mean() > 0.5) == (y[i] == 1)
    return hit / len(X)

raw = np.column_stack([age, expr])
z = (raw - raw.mean(0)) / raw.std(0)

print("결과는 '발현량' 만으로 정해진다. 나이는 잡음이다.")
print()
print(f"눈금 그대로  정확도 {knn_acc(raw, y):.3f}")
print(f"표준화 후    정확도 {knn_acc(z, y):.3f}")
print()
print(f"나이의 흩어짐   {age.std():.2f}")
print(f"발현량의 흩어짐 {expr.std():.2f}")
print()
print("나이가 열 배쯤 크게 흩어져 있어서, 거리를 재면 나이만 보게 된다.")
print("정작 답을 아는 발현량은 묻혀 버린다.")
print()
print("거리를 쓰는 방법(k-이웃 · k-평균 · SVM)은 반드시 눈금을 맞춰야 한다.")
print("나무 기반 방법(12강)은 순서만 보므로 이 문제가 없다.")

고등학생눈금 맞추기 — 왜 필요한가

특징마다 크기가 다릅니다.

특징	범위
나이	0~100
연봉	0~1억
유전자 발현	0~5

그냥 쓰면 연봉이 전부를 지배한다

왜 그런가

거리를 재는 방법들은 숫자가 큰 쪽에 끌립니다.

두 사람의 차이	값
나이 차 30살	30
연봉 차 100만원	1,000,000

연봉 100만원 차이가 나이 30살 차이보다 3만 배 크게 센다

영향을 받는 것들

방법	영향
k-이웃 (13강)	크다 — 거리로 재니까
SVM	크다
규제 선형 (11강)	크다 — 계수를 누르니까
PCA (14강)	크다
나무 (12강)	거의 없다 ✔

나무는 순서만 보므로 눈금과 무관하다 — 큰 장점

비유 — 여러 종목의 점수 합산

수학은 100점 만점, 체육은 10점 만점입니다. 그냥 더하면?

체육은 거의 반영이 안 된다 — 만점이 작아서

공정하게 하려면 같은 만점으로 환산해야죠. 그게 표준화입니다.

⚠ 그런데 중요한 규칙

눈금은 훈련 자료로만 정한다 — 16강의 누출

전체 자료의 평균으로 눈금을 맞추면 시험 자료의 정보가 섞입니다.

흔히 하는 다섯 가지

무엇	왜	주의
표준화 (평균 0, 분산 1)	거리 기반 방법에 필수	평균과 분산은 훈련자료에서만 구한다 (16강)
로그 변환	꼬리가 긴 자료 — 발현량 · TMB	0 이 있으면 log(x+1)
범주를 칸으로 (원-핫)	'병기 3' 은 '병기 1' 의 세 배가 아니다	칸이 폭발할 수 있다
없는 값 채우기	대부분의 방법이 빈칸을 못 받는다	채우는 값도 훈련자료에서만
특징 고르기	347개 중 쓸 것만	여기서 정보 누출이 가장 많이 난다 (16강)

오른쪽 칸에 같은 말이 세 번 나옵니다 — 훈련자료에서만. 이유는 4강과 16강에서 봅니다.

고등학생이 사이트의 자료가 딱 그 모양이다

note 가 현실 자료의 모양을 이야기합니다.

교과서 자료와 현실 자료는 다르게 생겼다

현실 자료의 특징

모양	문제
표본은 적고 특징은 많다	과적합이 쉽다 (5강)
값이 빠져 있다	어떻게 채우나
불균형	양성이 드물다 (17강)
배치 효과	측정 시기가 섞인다

생물 자료는 대개 환자 100명 · 유전자 2만 개

왜 이게 어려운가

특징이 표본보다 많으면 어떤 조합으로도 완벽히 맞힐 수 있습니다.

상황	결과
점 100개 · 축 2만 개	무조건 갈라진다

우연히 맞는 조합이 반드시 있다 — 의미가 없다

비유 — 반 학생 30명, 질문 1000개

질문을 1000개 하면 어떤 질문 조합으로든 30명을 둘로 정확히 가를 수 있습니다.

"좋아하는 색이 파랑이고 형제가 둘인 사람" 처럼요. 그런데 그게 뜻이 있나요?

우연한 조합과 진짜 규칙을 어떻게 가르나 — 4·6강의 답

없는 값 다루기

방법	주의
그 줄을 버린다	자료가 적어진다 · 편향될 수 있다
평균으로 채운다	훈련 자료 평균으로만 ⚠
"없음" 을 특징으로	없는 것 자체가 정보일 수 있다

"왜 없는가" 가 무작위가 아니면 그것이 신호다

🤔 확인 문제

나이(40~80)와 유전자 발현량(-3~3)을 함께 넣어 k-이웃 분류기를 만들었는데 성능이 나쁩니다. 가장 먼저 할 일은?