15강 / 20강

군집 — 정답이 없는 문제

k 를 몇으로 할 것인가, 그리고 그 물음에 답이 없다는 것

2강에서 이미 봤습니다 — 구조가 없는 점들도 k 를 정해 주면 그만큼 갈립니다.

/immune 14강, /spatial 9강, /dataset 11강이 모두 이 일을 합니다. 세포를 무리로 나누고 이름을 붙이죠.

그런데 몇 개로 나눌지는 누가 정할까요.

고등학생정답이 없는 문제

2강에서 예고한 어려움을 정면으로 봅니다.

군집에는 채점할 정답이 없다 — 그래서 다른 종류의 문제다

지도학습과 비교하면

	분류	군집
정답	있다	없다
"맞았나"	확인된다	확인 불가
k	정해져 있다	내가 정해야 ⚠

k 를 몇으로 하느냐가 결과를 만든다

그리고 알고리즘은 언제나 답을 냅니다

구조가 전혀 없는 무작위 점들에도 k=3 을 주면 세 덩어리를 만들어 줍니다.

자료	k=3 결과
진짜 3덩어리	3덩어리 ✔
구조 없음	3덩어리 ⚠

결과만 보고는 둘을 구별할 수 없다

비유 — 구름 보기

구름에서 토끼 모양을 찾으면 찾아집니다.

찾았다는 것은	뜻하나
진짜 토끼가 있다	아니다
내가 토끼를 찾았다	그것뿐

사람은 없는 패턴도 본다 — 알고리즘도 마찬가지다

그래서 "군집을 찾았다" 는 발견이 아니라 "이렇게 나눠 봤다" 는 제안입니다.

제곱합은 k 를 늘리면 <b>언제나</b> 줍니다. 그래서 이 값으로는 k 를 고를 수 없어요.

Python 브라우저에서 실행

# k 를 고르는 잣대들 - 그리고 그것들이 못 하는 일
import numpy as np
rng = np.random.default_rng(181)

def kmeans(X, k, seed=0, iters=40):
    r = np.random.default_rng(seed)
    C = X[r.choice(len(X), k, replace=False)].copy()
    for _ in range(iters):
        d = ((X[:, None, :] - C[None, :, :])**2).sum(-1)
        lab = d.argmin(1)
        for j in range(k):
            if (lab == j).any(): C[j] = X[lab == j].mean(0)
    d = ((X[:, None, :] - C[None, :, :])**2).sum(-1)
    return lab, float(d.min(1).sum())

# 진짜로 세 무리가 있는 자료
true_k = 3
X = np.vstack([rng.normal(c, 0.7, (100, 2))
               for c in [[0,0],[4,0],[2,3.5]]])

print("진짜 무리 수 = 3 인 자료")
print()
print("   k    군집내 제곱합(작을수록 '좋다')")
prev = None
for k in range(1, 9):
    _, sse = kmeans(X, k, seed=1)
    drop = "" if prev is None else f"   직전 대비 {(prev-sse)/prev*100:5.1f}% 감소"
    print(f"  {k:3d}   {sse:12.1f}{drop}")
    prev = sse
print()
print("k 를 늘리면 제곱합은 **언제나** 준다 - k=n 이면 0 이다.")
print("그래서 '가장 좋은 k' 를 이 값으로 고를 수 없다.")
print("감소폭이 꺾이는 지점(팔꿈치)을 눈으로 찾는 것이 관행인데,")
print("보다시피 어디가 꺾인 곳인지 딱 떨어지지 않는다.")

고등학생k 를 정하는 방법들과 그 한계

k 를 고르는 도구가 여럿 있습니다. 다만 결정적인 것은 없어요.

방법	보는 것	한계
엘보	오차가 꺾이는 지점	꺾임이 안 보일 때가 많다
실루엣	덩어리가 잘 뭉쳤나	둥근 덩어리에만 잘 맞는다
갭 통계	무작위 자료와 비교	계산이 무겁다
사전 지식	생물학·업무 지식	가장 믿을 만하다 ✔

가장 좋은 근거는 자료 밖에 있다 — 도메인 지식이다

엘보가 왜 잘 안 보이나

k 를 늘리면 오차는 항상 줄어듭니다. 그래서 곡선이 부드럽게 내려가요.

자료	엘보
덩어리가 뚜렷하다	보인다 ✔
연속적으로 퍼져 있다	안 보인다 — 어디든 꺾을 수 있다

현실 자료는 대개 두 번째다

그래서 실무에서는

태도	설명
여러 k 를 다 본다	하나만 고르지 않는다
안정성을 본다	자료를 나눠 해도 비슷하게 나오나
해석 가능한지	덩어리에 이름을 붙일 수 있나

이름을 못 붙이는 덩어리는 쓸모가 없다

비유 — 서랍 칸 나누기

서랍을 몇 칸으로 나눌까요?

답	근거
수학적으로	없다
무엇을 넣을지	여기서 나온다 ✔

쓰임이 칸 수를 정한다 — 자료가 아니라

그러면 무엇으로 정하나

잣대	무엇을 보나	한계
팔꿈치	제곱합의 감소가 꺾이는 곳	눈으로 찾는다. 대개 애매하다
실루엣	자기 무리와 가깝고 남의 무리와 먼가	둥근 무리를 전제한다
안정성	자료를 조금 바꿔도 같은 무리가 나오나	계산이 많다. 그래도 꽤 믿을 만하다
해석 가능성	그 무리에 이름을 붙일 수 있나	주관적. 그런데 실전에서 가장 강한 잣대

마지막 줄이 실제로 하는 일입니다. /dataset 11강의 제목이 「이름을 붙인다 — 군집 3번은 무슨 세포인가」 예요. 표지 유전자가 알려진 세포 유형과 맞으면 그 군집을 믿고, 아니면 다시 나눕니다.

즉 군집의 정답은 자료 바깥에서 옵니다 — /epi 18강이 "무엇을 조정할지는 자료 안에 없다" 고 한 것과 같은 구조입니다.

고등학생군집은 발견이 아니라 요약이다

note 의 이 문장이 이 강의 전체에서 손꼽히는 통찰입니다.

군집 결과는 자료의 요약이지 자연의 범주가 아니다

두 태도의 차이

태도	말	적절한가
발견	"세 가지 아형이 있다"	과한 주장 ⚠
요약	"이 자료를 셋으로 나눠 보면 …"	정확하다 ✔

같은 결과인데 주장의 강도가 다르다

발견이라 하려면 무엇이 더 필요한가

확인	설명
다른 자료에서도 나오나	재현성 ⭐
다른 방법으로도 나오나	방법 의존이 아닌가
바깥 변수와 연결되나	생존율 · 반응률 등 ⭐

세 번째가 가장 강력하다 — 군집이 다른 무언가를 예측하면 실재를 시사한다

예를 들어 유전자 발현으로 나눈 세 군집이 생존 기간이 다르게 나오면 — 그건 의미가 있습니다.

그런데 여기도 함정이 있습니다

같은 자료로 군집을 만들고 같은 자료로 차이를 검정하면?

가장 다르게 나뉜 것을 뽑아 놓고 "다르다" 고 하는 것 — 순환이다

/stat 의 이야기이자 이 강의 4강의 과녁 그리기 입니다.

비유 — 별자리

물음	답
별자리는 실재하나	별은 실재한다 — 선은 사람이 그었다
쓸모가 있나	있다 — 위치를 기억하기 좋다 ✔

유용한 요약이면 충분하다 — 실재라고 주장할 필요가 없다

🤔 확인 문제

단일세포 자료를 k-평균으로 나누고 '새로운 세포 아형 5개를 발견했다' 고 썼습니다. 가장 중요한 검증은?