7강 / 20강

순위로 바꾸기 — 눈금을 버리고 순서만 남긴다

copula transform, 아라크네의 조용한 전처리

5강과 6강의 코드에 계속 등장한 rank_transform 을 이제 설명할 차례입니다. 하는 일은 한 줄로 끝납니다.

발현량 → 그 유전자 안에서 몇 번째로 큰가 → 0~1 로 환산

200명 중 가장 낮은 사람은 0.0025, 가장 높은 사람은 0.9975. 값이 6.31 이었든 12000 이었든 상관없이 순서만 남습니다. 통계학에서는 이것을 copula 변환이라고 부릅니다.

왜 굳이 이런 짓을 할까요? 얻는 것이 셋 있습니다.

고등학생눈금을 버리고 순서만 남긴다

순위 변환(copula transform)은 아주 단순하다.

원래 값	순위	정규화 순위
3.2	2	0.5
1.8	1	0.25
5.9	3	0.75

값을 순서로 바꾼다

그러면 모든 유전자가 0~1 사이의 균등 분포 가 된다.

서로 다른 분포를 가진 유전자들을 같은 눈금으로 맞춘다

① 칸이 공평해진다

순위는 0~1 에 완벽하게 고르게 퍼져 있습니다. 7칸으로 자르면 칸마다 정확히 약 28~29명이 들어가요. 원래 값으로 자르면 가운데 칸에 100명, 끝 칸에 2명이 되기 쉽습니다.

등빈도 칸 = 추정이 안정적

② 눈금이 상관없어진다

CPM 이든 TPM 이든, log 를 씌웠든 안 씌웠든 순서는 같습니다. 그러니 MI 도 같습니다. 전처리 방식이 결과를 흔들지 않아요.

2강의 그 이야기

③ 이상치가 힘을 잃는다

한 사람의 값이 실수로 1000배 크게 찍혀도, 순위로는 그냥 1등일 뿐입니다. 상관계수라면 그 한 점이 r 을 통째로 끌고 갑니다.

튼튼함(robustness)

argsort 를 두 번 쓰는 것과 같은 관용구입니다. 칸마다 28~29명씩 정확히 나뉩니다.

Python 브라우저에서 실행

# 순위 변환을 직접 짜 봅니다.
import numpy as np
from arac import load_expr

genes, X, samples = load_expr("arac_expr.bin")

def my_rank(row):
    n = len(row)
    order = row.argsort()          # 작은 것부터의 위치
    ranks = np.empty(n, dtype=int)
    ranks[order] = np.arange(n)    # 원래 자리에 등수를 되돌려 놓는다
    return (ranks + 0.5) / n       # 0~1 사이로, 끝에 0이나 1이 오지 않게

x = X[genes.index("DDX54")]
u = my_rank(x)

print("원래 값 앞 8개 :", np.round(x[:8], 2))
print("순위 값 앞 8개 :", np.round(u[:8], 3))
print()
print("순위의 최소/최대 :", round(u.min(), 4), "/", round(u.max(), 4))
print("순위의 평균      :", round(float(u.mean()), 4), " ← 언제나 0.5")
print("칸 7개로 나눴을 때 칸마다 든 사람 수:",
      np.bincount((u * 7).astype(int), minlength=7))

고등학생왜 이것이 좋은가

이점	내용
정규화에 둔감	단조 변환은 순위를 안 바꿈
극단값에 강함	아주 큰 값도 순위는 하나
칸 나누기가 균등해짐	각 칸에 같은 수의 샘플
분포 모양이 통일됨	유전자 간 비교 가능

세 번째가 특히 실용적이다

원래 값으로 칸을 나누면 어떤 칸은 비고 어떤 칸은 넘친다.

순위로 바꾸면 모든 칸에 같은 수 가 들어간다. 6강의 문제가 크게 완화된다.

전처리 하나로 뒤의 추정 문제가 절반쯤 풀린다

순서를 바꾸지 않는 변환에는 MI 가 꿈쩍도 하지 않습니다. 반면 상관계수는 이상치 하나에 무너집니다.

Python 브라우저에서 실행

# 정말로 눈금이 상관없는지 확인해 봅시다.
import numpy as np
from arac import load_expr, rank_transform, mi_bins

genes, X, samples = load_expr("arac_expr.bin")
ix = {n: i for i, n in enumerate(genes)}
a, b = X[ix["DDX54"]], X[ix["MYC"]]

def mi_of(x, y):
    U = rank_transform(np.vstack([x, y]))
    return mi_bins(U[0], U[1], 7)

print("원래 값          :", round(mi_of(a, b), 6))
print("2 를 곱하고 +100 :", round(mi_of(a * 2 + 100, b), 6))
print("지수를 씌우기    :", round(mi_of(2 ** a, b), 6))
print("한 사람만 1000배 :", round(mi_of(np.r_[a[0] * 1000, a[1:]], b), 6))
print()
# 상관계수는 어떨까요?
print("상관계수 원래      :", round(float(np.corrcoef(a, b)[0, 1]), 4))
print("상관계수 이상치 후 :", round(float(np.corrcoef(np.r_[a[0] * 1000, a[1:]], b)[0, 1]), 4))

🎮 원래 값 ↔ 순위, 같은 자료를 두 눈으로

왼쪽은 원래 발현량, 오른쪽은 순위로 바꾼 것입니다. 격자를 켜 보면 순위 쪽은 칸마다 점 수가 같아지는 것이 보입니다.

고등학생단조 변환이 결과를 안 바꾼다

중요한 성질이다.

순서를 유지하는 변환은 순위를 바꾸지 않는다

변환	순위
로그	그대로
제곱근	그대로
상수 곱하기	그대로
TPM · CPM · 분위수 정규화	대체로 그대로

그러니 정규화 논쟁이 무의미해진다

"CPM 을 쓸까 TPM 을 쓸까" 하는 고민이 ARACNe 에서는 거의 무의미하다.

그런데 예외가 있다

샘플별로 다른 변환 을 하면 순위가 바뀔 수 있다. 분위수 정규화가 그런 경우다.

순위 기반 방법은 전처리에 둔감하지만 완전히 무관하지는 않다

동점(tie) 처리는 순위 기반 방법의 공통 약점입니다. 전처리에서 미리 막는 것이 정석입니다.

Python 브라우저에서 실행

# 값이 같은 사람이 여럿일 때(동점)는 어떻게 될까요?
import numpy as np
from arac import rank_transform

# 일부러 동점을 많이 만든 자료 — 저발현 유전자에서 흔히 생깁니다
x = np.array([0, 0, 0, 0, 0, 1, 1, 2, 3, 5], dtype=float)
u = rank_transform(x)[0]

print("원래 :", x)
print("순위 :", np.round(u, 3))
print()
print("0 이 다섯 개인데 서로 다른 순위를 받았습니다 —")
print("먼저 나온 순서대로 갈렸을 뿐, 뜻이 있는 차이가 아닙니다.")
print()
print("→ 그래서 아라크네를 돌리기 전에 '거의 안 켜진 유전자'를 걸러 냅니다.")
print("   동점 덩어리가 크면 순위가 가짜 무늬를 만들 수 있기 때문입니다.")

고등학생잃는 것도 있다

잃는 것	내용
크기 정보	두 배와 10% 를 구별 못 함
절대 수준	발현이 높은지 낮은지
동점 처리	0 이 많으면 순위가 애매

세 번째가 실무적 문제다

발현이 0 인 샘플이 많으면 그것들의 순위를 어떻게 정하나?

방법	문제
평균 순위	인위적 동점
무작위 순서	가짜 변동
제외	정보 손실

단일세포처럼 0 이 많은 자료에서는 순위 변환이 잘 안 통한다

🤔 확인 문제

순위 변환을 하면 MI 계산에서 무엇이 좋아질까요?

🤔 확인 문제

한 샘플의 발현량이 실수로 1000배 크게 기록되었습니다. 순위 변환 뒤 MI 는?

🤔 확인 문제

순위 변환으로 잃는 정보는 무엇일까요?