Lesson 14 of 20

차원 축소 — 수천 개 축을 둘로

PCA 는 무엇을 지키고, UMAP 은 무엇을 지키지 않는가

논문에서 가장 많이 보는 그림입니다 — 세포 수만 개가 점으로 찍힌 UMAP. 유전자 2만 개짜리 자료를 두 축으로 줄인 것이죠.

어떻게 줄이느냐가 방법마다 다르고, 무엇을 지키는지도 다릅니다.

	PCA	t-SNE · UMAP
무엇을 지키나	전체의 퍼짐 (분산)	가까운 것끼리의 이웃 관계
축에 뜻이 있나	있다 — 원래 특징의 조합	없다 — 축 자체는 의미 없다
거리가 뜻이 있나	있다	무리 사이 거리는 뜻이 없다
되돌릴 수 있나	된다	안 된다
선형인가	선형	비선형

High school수천 개 축을 둘로

13강의 저주를 피하는 정면 대응입니다.

정보를 최대한 지키면서 축을 줄인다

왜 줄이나

목적	설명
그림으로 보려고	사람은 2·3차원만 본다
저주를 피하려고	13강
잡음 제거	작은 변동을 버린다
계산 절약	—

첫 번째가 실무에서 가장 흔한 이유다 — 보려고 줄인다

PCA 의 발상

가장 많이 퍼진 방향을 새 축으로 삼습니다.

축	담는 것
PC1	분산이 가장 큰 방향
PC2	PC1 과 직각인 것 중 최대

"퍼짐 = 정보" 라고 가정한 것이다 — 항상 맞지는 않다

비유 — 그림자

3차원 물체를 어느 방향에서 비추느냐에 따라 그림자가 달라집니다.

방향	그림자
좋은 방향	모양이 잘 보인다
나쁜 방향	선 하나로 뭉개진다

PCA 는 가장 넓게 보이는 방향을 자동으로 찾는다

다만 그림자는 정보를 잃습니다. 잃은 것이 중요한 것일 수도 있어요.

특징 50개를 2개로 줄이고도 분산 대부분을 지킵니다. <b>축에 뜻이 있는</b> 것이 PCA 의 강점이에요.

Python Runs in your browser

# PCA 를 손으로 - 공분산의 고유벡터가 축이다
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(171)

# 세 무리, 특징 50개. 그중 진짜로 다른 것은 두 방향뿐이다
n_per, p = 80, 50
centers = np.array([[3, 0], [-2, 2], [-1, -3]])
X, lab = [], []
for i, c in enumerate(centers):
    z = rng.normal(0, 1, (n_per, 2)) + c
    hidden = np.zeros((n_per, p))
    hidden[:, 0] = z[:, 0]; hidden[:, 1] = z[:, 1]
    hidden += rng.normal(0, 0.6, (n_per, p))     # 나머지 48개 축은 잡음
    X.append(hidden); lab += [i]*n_per
X = np.vstack(X); lab = np.array(lab)

Xc = X - X.mean(0)
cov = Xc.T @ Xc / (len(Xc) - 1)
vals, vecs = np.linalg.eigh(cov)
order = np.argsort(vals)[::-1]
vals, vecs = vals[order], vecs[:, order]
Z = Xc @ vecs[:, :2]

fig, ax = plt.subplots()
for i in range(3):
    m = lab == i
    ax.scatter(Z[m, 0], Z[m, 1], s=10, label=f"group {i}")
ax.set_xlabel("PC1"); ax.set_ylabel("PC2"); ax.legend(fontsize=8)
plt.show()

tot = vals.sum()
print("  성분    설명하는 분산 비율   누적")
run = 0
for i in range(6):
    run += vals[i]/tot
    print(f"  PC{i+1:<3d}   {vals[i]/tot*100:14.2f}%   {run*100:6.2f}%")
print()
print(f"특징 {p}개를 2개로 줄였는데 분산의 {(vals[0]+vals[1])/tot*100:.0f}% 를 지켰다.")
print("나머지 48개 축은 대부분 잡음이었기 때문이다.")

High schoolPCA 가 지키는 것과 못 지키는 것

부제의 물음에 답해 봅시다.

지킨다	못 지킨다
전체 분산의 큰 부분	비선형 구조
거리를 대체로	작은 분산의 중요한 신호
선형 관계	—

"분산이 크다" 와 "중요하다" 는 같은 말이 아니다

실제로 이런 일이 생깁니다

PC1 이 담은 것	실제 정체
가장 큰 변동	실험 배치 차이 ⚠
—	측정 장비 차이

가장 큰 변동이 기술적 잡음인 경우가 흔하다

그래서 PCA 그림을 보면 "배치별로 갈리는지" 를 먼저 확인합니다.

PCA 의 좋은 점

장점	설명
결정적	돌릴 때마다 같은 결과
해석 가능	각 축이 원 특징의 조합
새 자료 적용	같은 변환을 그대로 쓴다 ✔

세 번째가 UMAP 과 결정적으로 다른 점이다

그리고 규칙 하나

PCA 도 훈련 자료로만 학습한다 — 16강의 누출

전체 자료로 PCA 를 하면 시험 자료의 구조가 축에 들어갑니다.

High schoolUMAP 그림에서 읽으면 안 되는 것 셋

note 의 이 경고가 가장 흔히 어겨지는 것입니다.

UMAP 은 이웃 관계만 지키려 한다 — 나머지는 보장이 없다

읽으면 안 되는 것 ① — 덩어리 사이 거리

보이는 것	사실
A 와 B 가 멀리 있다	뜻이 없다 ⚠

덩어리 안은 지키고 덩어리 사이는 안 지킨다

② 덩어리의 크기

보이는 것	사실
A 덩어리가 크다	표본이 많다는 뜻이 아니다

밀집도에 따라 펴지거나 뭉친다 — 크기는 인공물이다

③ 축의 의미

UMAP1 · UMAP2 는 아무 뜻이 없습니다. PCA 와 달리 원 특징의 조합이 아니에요.

"UMAP1 이 높으면 …" 이라는 해석은 불가능하다

그리고 재현성

	PCA	UMAP
같은 결과	항상 ✔	seed 에 따라 다르다
파라미터 민감도	없다	크다 ⚠

n_neighbors 를 바꾸면 그림이 완전히 달라진다

비유 — 세계 지도

둥근 지구를 평면에 펴면 반드시 왜곡됩니다.

지도	지키는 것	왜곡
메르카토르	각도	그린란드가 거대
—	면적	모양이 일그러짐

전부 지키는 지도는 없다 — 무엇을 지켰는지 알고 읽어야 한다

UMAP 그림은 가설을 세우는 도구지 결론을 내리는 도구가 아닙니다.

🤔 Check yourself

논문의 UMAP 에서 A 무리와 B 무리가 멀리 떨어져 있고, B 와 C 는 붙어 있습니다. 말할 수 있는 것은?