16강 / 20강

직교와 정사영 — 그림자를 내리는 법

가장 가까운 점의 표식은 직각이다

직선 위에 있지 않은 점 b 가 있습니다. 그 직선 위에서 b 에 가장 가까운 점은 어디일까요?

답은 누구나 압니다 — 수직으로 내린 발이에요. 그런데 왜 하필 수직일까요? 그리고 그것을 어떻게 계산할까요?

3강에서 이미 답의 절반을 봤습니다. b 를 a 방향으로 정사영하면

p = (a·b / a·a) · a

이고, 남은 오차 e = b − p 는 a 와 직교합니다. 이 사실 하나가 17강 최소제곱법 전체를 떠받칩니다.

고등학생그림자를 내리는 법

3강에서 답의 절반을 이미 봤습니다.

b 를 a 방향으로 정사영하면 — 내적으로 구해진다

무엇을 구하나

b 를 a 방향의 성분과 나머지로 쪼갭니다.

부분	뜻
정사영	a 방향의 그림자
나머지	a 에 수직인 부분 ⭐

어떤 벡터든 "이 방향" + "수직 방향" 으로 쪼갤 수 있다

공식

proj = (a·b / a·a) · a

부분	뜻
a·b	얼마나 같은 쪽인가
÷ a·a	a 의 길이로 정규화
× a	a 방향으로 놓는다

"얼마만큼" 을 재고 "그 방향으로" 놓는다

비유 — 해 그림자

—	—
막대의 그림자	땅 방향의 성분
수직 성분	보이지 않는다

그림자는 정보를 잃는다 — 9강의 되돌릴 수 없음

정사영 = 그림자. 오차는 언제나 직각으로 남습니다.

Python 브라우저에서 실행

def 내적(a, b): return sum(x*y for x, y in zip(a, b))
def 길이(a): return 내적(a, a) ** 0.5

def 정사영(a, b):
    k = 내적(a, b) / 내적(a, a)
    return [k * x for x in a], k

a = [3, 1]      # 직선의 방향
b = [2, 4]      # 이 점을 직선 위로 내린다

p, k = 정사영(a, b)
e = [x - y for x, y in zip(b, p)]

print("직선 방향 a =", a)
print("점       b =", b)
print("정사영   p =", [round(v,4) for v in p], f"  ( = {round(k,4)}·a )")
print("오차     e =", [round(v,4) for v in e])
print()
print("a · e =", round(내적(a, e), 12), "← 0! 직각입니다")
print("|e| =", round(길이(e), 4), "← 이것이 점과 직선 사이의 거리")

🎮 정말 가장 가까운지 확인해 보세요

b 를 끌어 옮기고, 직선의 방향도 돌려 보세요. 그리고 슬라이더로 직선 위의 다른 점을 골라 거리를 재 보세요. 어디를 골라도 정사영보다 가깝지 않습니다.

고등학생왜 직각일 때 가장 가까운가

note 의 이 물음이 17강의 근거입니다.

한 점에서 직선까지 가장 짧은 거리는 — 수선의 길이

중학교에서 배운 것입니다

—	—
점에서 직선에 수선의 발	가장 가깝다 ✔

그게 정사영이다 — 새로운 개념이 아니다

왜 그런가 — 피타고라스

다른 어떤 점 p 를 잡으면 직각삼각형이 생깁니다.

변	—
b − proj	수직 성분
proj − p	직선 위
b − p	빗변 — 항상 더 길다 ✔

빗변이 가장 길다 — 그래서 수선의 발이 최단이다

이 사실을 뒤집으면

"가장 가깝다" 를 찾으려면 — 직교 조건을 쓰면 된다 ⭐

—	—
최적화 문제	→ 방정식이 된다

"거리를 최소화" 라는 어려운 문제가 내적=0 이라는 쉬운 식이 된다

17강의 정규방정식이 정확히 이렇게 나옵니다.

비유 — 길을 건널 때

건너는 방향	거리
수직으로	가장 짧다 ✔
비스듬히	길어진다

직각이 최단이라는 것은 몸으로 아는 사실이다

직선을 넘어 — 부분공간으로의 정사영

이제 직선이 아니라 평면(더 일반적으로 열공간) 위로 내려 봅시다. A 의 열들이 만드는 공간 위로 b 를 정사영하면 p = Ax̂ 꼴이고, 오차 e = b − Ax̂ 는 A 의 모든 열과 직교해야 합니다.

"모든 열과 직교" 를 한 줄로 적으면 Aᵀ(b − Ax̂) = 0

정리하면 AᵀA x̂ = Aᵀb — 이것을 정규방정식이라 부릅니다

이 식이 17강의 전부입니다. 그리고 놀랍게도 b 가 어디에 있든 이 방정식은 언제나 해를 가집니다 — 정사영은 항상 할 수 있으니까요.

정규방정식 AᵀAx̂ = Aᵀb. 17강의 핵심 도구입니다.

Python 브라우저에서 실행

def 전치(A): return [[행[j] for 행 in A] for j in range(len(A[0]))]
def 곱(A, B):
    return [[sum(A[i][k]*B[k][j] for k in range(len(B))) for j in range(len(B[0]))]
            for i in range(len(A))]
def Ax(A, x): return [sum(a*xi for a, xi in zip(행, x)) for 행 in A]
def 내적(a, b): return sum(x*y for x, y in zip(a, b))

# R³ 안의 평면(A 의 두 열)으로 b 를 내립니다
A = [[1, 0],
     [0, 1],
     [1, 1]]
b = [1, 2, 9]        # 15강에서 '열공간 밖' 이었던 그 b

At = 전치(A)
AtA = 곱(At, A)
Atb = Ax(At, b)

# 2x2 니까 손으로 풉니다
d = AtA[0][0]*AtA[1][1] - AtA[0][1]*AtA[1][0]
xh = [(Atb[0]*AtA[1][1] - AtA[0][1]*Atb[1])/d,
      (AtA[0][0]*Atb[1] - Atb[0]*AtA[1][0])/d]

p = Ax(A, xh)
e = [x - y for x, y in zip(b, p)]
print("b       =", b)
print("정사영 p =", [round(v,4) for v in p])
print("오차   e =", [round(v,4) for v in e])
print()
for j, 열 in enumerate(전치(A)):
    print(f"  (A의 {j+1}열) · e =", round(내적(열, e), 12))
print("→ 모든 열과 직교합니다 ✓")

고등학생정규직교기저가 있으면 훨씬 쉽다

note 의 이 조언이 실무의 큰 요령입니다.

기저가 직교 + 단위길이 면 — 정사영이 내적 하나

비교해 보면

기저	좌표 구하기
일반	연립방정식을 푼다 ⚠
정규직교	내적만 하면 된다 ✔

c_i = v · e_i — 그게 전부다

왜 이렇게 간단해지나

축들이 서로 간섭하지 않기 때문입니다.

—	—
직교하면	다른 축의 성분이 0 ✔
그래서	따로따로 구한다

3강의 직교의 힘 — 서로 간섭하지 않는다

어떻게 만드나 — 그람-슈미트

단계	—
1	첫 벡터를 정규화
2	다음 벡터에서 앞의 성분을 뺀다
3	정규화하고 반복

"이미 있는 방향을 빼면" 새 방향만 남는다

어디서 쓰이나

—	—
QR 분해	최소제곱을 안정적으로 푼다
푸리에	13강 — 사인·코사인이 정규직교
PCA · SVD	20강 — 직교 기저를 찾는다 ⭐

뒤의 강들이 전부 "좋은 직교 기저 찾기" 다

정사영 행렬

정사영도 하나의 일차변환이므로 행렬로 적을 수 있습니다.

P = A(AᵀA)⁻¹Aᵀ

이 행렬에는 재미있는 성질이 있습니다. P² = P 예요 — 이미 그림자를 내린 것에 다시 그림자를 내려도 그대로라는 뜻입니다. 당연하죠. 그리고 Pᵀ = P, 즉 대칭입니다.

고윳값도 예측할 수 있습니다. 부분공간 안의 벡터는 그대로 있으니 λ = 1, 직교하는 벡터는 0으로 사라지니 λ = 0. 정사영 행렬의 고윳값은 0과 1 뿐이에요. 18강에서 이 예측을 직접 확인해 봅니다.

정사영 행렬 P 는 P² = P 이고 고윳값이 0 과 1 뿐입니다.

Python 브라우저에서 실행

def 전치(A): return [[행[j] for 행 in A] for j in range(len(A[0]))]
def 곱(A, B):
    return [[sum(A[i][k]*B[k][j] for k in range(len(B))) for j in range(len(B[0]))]
            for i in range(len(A))]

# a 방향(직선)으로의 정사영 행렬 P = a aᵀ / (aᵀa)
a = [3, 1]
aa = sum(x*x for x in a)
P = [[a[i]*a[j]/aa for j in range(2)] for i in range(2)]

print("P =")
for 행 in P: print("  ", [round(v, 4) for v in 행])
print()
PP = 곱(P, P)
print("P·P =")
for 행 in PP: print("  ", [round(v, 4) for v in 행])
print("→ P² = P ✓ (두 번 내려도 똑같습니다)")
print()
def Ax(A, x): return [round(sum(c*xi for c, xi in zip(행, x)), 6) for 행 in A]
print("a 방향 벡터는 그대로:", Ax(P, a), "= a  → 고윳값 1")
print("직교 방향은 사라짐 :", Ax(P, [-1, 3]), "     → 고윳값 0")

고등학생정사영을 행렬로

16강을 마치며 변환 관점으로 봅시다.

정사영도 일차변환이다 — 행렬 P 로 쓸 수 있다

P 의 특징

성질	뜻
P² = P	두 번 해도 같다 ⭐
Pᵀ = P	대칭
det P = 0	납작하게 만든다 (8강)
고윳값은 0 과 1	18강 ⭐

P²=P 가 정사영의 정의적 성질이다

왜 두 번 해도 같은가

이미 그림자가 진 것의 그림자는 자기 자신입니다.

—	—
땅 위의 점의 그림자	그 점 그대로 ✔

이미 평면 위에 있으면 안 움직인다 — 고윳값 1

고윳값이 0 과 1 뿐인 이유

방향	어떻게 되나	고윳값
평면 위	그대로	1
평면에 수직	0 으로	0

18강의 고유벡터가 여기서 미리 보인다 — 안 변하는 방향들

17강 예고

b 를 열공간에 정사영하면 가장 가까운 Ax 가 나옵니다.

그게 최소제곱해다 — 17강은 16강의 응용이다

🤔 확인 문제

b 를 a 방향으로 정사영한 벡터 p 에 대해 항상 참인 것은?

해설 정사영의 정의가 곧 오차가 직각으로 남는 점입니다. a·(b − p) = 0 이 성립해요 — 이것이 '가장 가깝다'의 다른 표현입니다.

🤔 확인 문제

정규방정식 AᵀAx̂ = Aᵀb 는 어디서 나왔나요?

🤔 확인 문제

정사영 행렬 P 가 만족하는 것은?

해설 이미 내린 그림자에 다시 그림자를 내려도 같은 자리입니다 — P² = P. 이런 행렬을 멱등(idempotent) 이라고 부릅니다.