12강 / 20강

랭크 — 진짜 정보는 몇 줄인가

식이 셋이라고 조건이 셋인 건 아니다

세 사람에게 같은 질문을 했는데, 두 사람이 똑같은 대답을 했다고 합시다. 대답은 세 개지만 정보는 두 개죠. 행렬에서도 같은 일이 일어납니다.

[ 1  2  3 ]
[ 2  4  6 ]   ← 1행의 2배. 새 정보 없음
[ 1  0  1 ]

줄은 셋인데 진짜 정보는 둘입니다. 이 "진짜 정보의 개수"가 랭크(rank)예요.

구하는 법은 이미 배웠습니다. 소거해서 남는 피벗의 개수가 랭크입니다. 베낀 줄은 소거 과정에서 저절로 0줄이 되어 사라져요.

고등학생진짜 정보는 몇 줄인가

부제가 랭크의 뜻을 정확히 말합니다.

식이 셋이라고 조건이 셋인 건 아니다

예로 보면

식	—
x + y = 3	—
2x + 2y = 6	첫 식의 2배 — 새 정보가 없다 ⚠

식이 둘인데 조건은 하나다 — 랭크 1

랭크의 여러 정의 — 전부 같다

정의	—
독립인 행의 개수	—
독립인 열의 개수	같다! ⭐
피벗의 개수	11강
열공간의 차원	15강

"진짜 방향이 몇 개인가" 를 재는 숫자다

비유 — 설문 문항

문항	—
"키는?" · "몸무게는?"	독립 — 정보 2
"키는?" · "키를 cm 로?"	같은 질문 — 정보 1 ⚠

문항 수가 아니라 다른 질문의 수가 정보량이다

2강의 "방향이 몇 개인가" 가 드디어 이름을 얻었습니다.

소거 후 남는 0 아닌 줄의 개수 = 랭크.

Python 브라우저에서 실행

def rref(M):
    R = [행[:] for 행 in M]
    행수, 열수 = len(R), len(R[0])
    피벗들, r = [], 0
    for c in range(열수):
        if r >= 행수: break
        축 = max(range(r, 행수), key=lambda i: abs(R[i][c]))
        if abs(R[축][c]) < 1e-9: continue
        R[r], R[축] = R[축], R[r]
        R[r] = [v / R[r][c] for v in R[r]]
        for i in range(행수):
            if i != r and abs(R[i][c]) > 1e-9:
                f = R[i][c]
                R[i] = [a - f * b for a, b in zip(R[i], R[r])]
        피벗들.append(c); r += 1
    return [[round(v, 9) + 0 for v in 행] for 행 in R], r, 피벗들

A = [[1, 2, 3],
     [2, 4, 6],
     [1, 0, 1]]
R, 랭크, 피벗 = rref(A)
print("소거 결과:")
for 행 in R: print("  ", 행)
print("랭크 =", 랭크, " 피벗이 선 열:", [c+1 for c in 피벗])
print()
print("2행이 통째로 0이 되었습니다 — 베낀 줄이었다는 증거입니다")

🎮 랭크가 뜻하는 모양

숫자를 바꿔 가며 랭크가 3, 2, 1, 0 이 되는 경우를 만들어 보세요. 랭크에 따라 세 열이 만들어 낼 수 있는 것이 공간 → 평면 → 직선 → 점 으로 줄어듭니다.

고등학생행랭크 = 열랭크

note 의 이 사실은 당연해 보이지 않습니다.

독립인 행의 수와 독립인 열의 수가 항상 같다

왜 놀라운가

—	—
행은 가로, 열은 세로	전혀 다른 방향
3×100 행렬이면	행은 3개, 열은 100개
그런데 랭크는	같다 — 최대 3 ⭐

열이 100개여도 독립인 것은 3개 이하다

직관적으로

3차원 공간에 100개 벡터를 넣으면? 4개 이상은 반드시 종속입니다.

—	—
담을 수 있는 독립 방향	공간의 차원까지

/dm 16강의 비둘기집 과 같은 성격의 제한이다

그래서 중요한 부등식

rank(A) ≤ min(행 수, 열 수)

랭크가	이름
최대값	full rank — 좋다 ✔
그보다 작다	rank deficient — 정보가 모자란다 ⚠

9강의 가역 조건이 "정사각형 + full rank" 다

비유 — 사진의 해상도

—	—
1000×1000 사진	화소는 백만 개
단색 사진이면	정보는 랭크 1 ⭐

크기와 정보량은 다르다 — 20강 SVD 압축의 근거다

랭크가 답하는 질문들

랭크 하나만 알면 연립방정식에 대해 많은 것을 말할 수 있습니다. A 가 m×n 이고 첨가행렬이 [A|b] 일 때:

조건	해
rank A < rank [A\|b]	해가 없다 — b 가 열들로 안 만들어짐
rank A = rank [A\|b] = n	해가 딱 하나
rank A = rank [A\|b] < n	해가 무수히 — 자유변수 n − r 개

첫 줄이 핵심입니다. b 를 덧붙였더니 랭크가 올라갔다는 건, b 가 A 의 열들이 만드는 범위 바깥에 있다는 뜻이에요. 아무리 섞어도 못 만드니 해가 없는 겁니다.

b 를 붙였더니 랭크가 올라가면 = b 가 손 닿지 않는 곳에 있다.

Python 브라우저에서 실행

def 랭크(M):
    R = [행[:] for 행 in M]
    행수, 열수 = len(R), len(R[0])
    r = 0
    for c in range(열수):
        if r >= 행수: break
        축 = max(range(r, 행수), key=lambda i: abs(R[i][c]))
        if abs(R[축][c]) < 1e-9: continue
        R[r], R[축] = R[축], R[r]
        for i in range(r+1, 행수):
            f = R[i][c] / R[r][c]
            R[i] = [a - f*b for a, b in zip(R[i], R[r])]
        r += 1
    return r

A = [[1, 1, 1],
     [2, 2, 2]]

for b, 말 in [([3, 6], "b 가 열들로 만들어지는 경우"),
              ([3, 7], "b 가 만들어지지 않는 경우")]:
    첨가 = [행 + [bi] for 행, bi in zip(A, b)]
    ra, rb = 랭크(A), 랭크(첨가)
    if rb > ra:  결론 = "해가 없음"
    elif ra == len(A[0]): 결론 = "해가 하나"
    else: 결론 = f"해가 무수히 (자유변수 {len(A[0]) - ra}개)"
    print(f"{말}: rank A = {ra}, rank [A|b] = {rb} → {결론}")

고등학생현실에서 랭크가 모자란다는 것

note 의 이 대목이 실무의 핵심 문제를 짚습니다.

현실 자료는 랭크가 정확히 모자라지 않는다 — 거의 모자란다

무슨 뜻인가

이론	현실
완전히 종속 → 랭크 감소	거의 종속 — 측정 오차 때문에
det = 0	det = 0.0000001 ⚠

수학적으로는 full rank 인데 실질적으로는 아니다

그래서 조건수를 봅니다

조건수 = 가장 큰 특잇값 / 가장 작은 특잇값 (20강)

조건수	뜻
작다 (∼1)	안정적 ✔
크다 (10⁶ 이상)	불안정 — 오차가 증폭 ⚠

10강의 "해가 불안정하다" 를 재는 숫자다

언제 이런 일이 생기나

상황	—
다중공선성	설명 변수들이 서로 강하게 상관 ⚠
단위가 크게 다르다	스케일링으로 해결
변수가 표본보다 많다	`/ml` 3강

회귀에서 계수가 이상하게 크거나 부호가 뒤집히면 — 이걸 의심한다

해결책

방법	—
변수 줄이기	상관 높은 것 하나만
규제	`/ml` 11강 릿지 ⭐
PCA	직교 축으로 바꾼다 (20강)

릿지 회귀가 하는 일이 조건수를 낮추는 것이다

수치 랭크 — 컴퓨터의 고민

이론에서는 "0인가 아닌가"가 명확합니다. 그런데 컴퓨터의 실수 계산에서는 0.0000000001 같은 값이 나와요. 이게 진짜 0인데 오차가 낀 걸까요, 아니면 정말 작은 값일까요?

구분할 방법이 원리적으로 없습니다. 그래서 컴퓨터는 임계값을 정해 놓고 그보다 작으면 0으로 칩니다. 이렇게 정한 랭크를 수치 랭크라고 해요.

더 믿을 만한 방법은 20강 특잇값 분해를 쓰는 것입니다. 특잇값들이 얼마나 급격히 작아지는지를 보면 "실질적으로 몇 차원짜리 데이터인가"를 훨씬 안정적으로 판단할 수 있어요.

실수 계산에서 '0인지 아닌지'는 생각보다 어려운 질문입니다.

Python 브라우저에서 실행

def 랭크(M, 임계=1e-9):
    R = [행[:] for 행 in M]
    행수, 열수 = len(R), len(R[0])
    r = 0
    for c in range(열수):
        if r >= 행수: break
        축 = max(range(r, 행수), key=lambda i: abs(R[i][c]))
        if abs(R[축][c]) < 임계: continue
        R[r], R[축] = R[축], R[r]
        for i in range(r+1, 행수):
            f = R[i][c] / R[r][c]
            R[i] = [a - f*b for a, b in zip(R[i], R[r])]
        r += 1
    return r

# 이론상 랭크 1 인 행렬에 아주 작은 잡음을 섞으면?
깨끗 = [[1, 2], [2, 4]]
잡음  = [[1, 2], [2, 4 + 1e-12]]

print("깨끗한 행렬의 랭크:", 랭크(깨끗))
print("잡음 섞인 행렬:")
for 임계 in (1e-15, 1e-9, 1e-6):
    print(f"  임계값 {임계:>7}: 랭크 {랭크(잡음, 임계)}")
print()
print("같은 행렬인데 임계값에 따라 답이 달라집니다 — 이것이 수치 랭크의 어려움입니다")

고등학생랭크로 읽는 자료

12강을 마치며 랭크의 실용적 의미를 봅시다.

랭크 = 자료에 든 진짜 자유도

예로 보면

자료	겉보기 차원	실제 랭크
온도를 ℃와 ℉로 기록	2	1 ⚠
비율이 합해서 100%	n	n−1
단색 이미지	백만	1

기록한 항목 수보다 실제 정보가 적은 경우가 흔하다

저랭크가 좋은 소식일 때

—	—
거대한 자료가 저랭크다	압축할 수 있다 ✔ (20강)
—	구조가 있다는 뜻

추천 시스템이 되는 이유 — 취향이 저랭크이기 때문이다

사용자 100만 × 영화 10만 표가 사실은 랭크 50 정도면? 50가지 취향으로 설명된다는 뜻입니다.

저랭크가 나쁜 소식일 때

—	—
실험 설계가 저랭크	효과를 분리 못 한다 ⚠

두 요인이 늘 함께 변했다면 — 어느 것 때문인지 모른다

이건 /stat 의 교란 문제이자 실험 설계의 근본 문제입니다.

랭크가 모자라면 수학이 답할 수 없다 — 자료를 더 모아야 한다

🤔 확인 문제

[[1,2],[2,4],[3,6]] 의 랭크는?

🤔 확인 문제

A 가 5×3 행렬일 때 랭크가 될 수 없는 값은?

해설 rank ≤ min(행 수, 열 수) = min(5, 3) = 3 입니다. 독립인 열이 3개뿐이니 랭크가 4가 될 수는 없어요.

🤔 확인 문제

rank A = 2 인데 rank [A|b] = 3 이라면?