17강 / 20강

최소제곱법 — 못 맞추는 방정식에 답하기

데이터에 직선을 얹는 일

실험을 해서 점 여섯 개를 얻었습니다. 직선으로 설명하고 싶어요. 그런데 직선은 미지수가 둘(기울기, 절편)인데 조건은 여섯 개입니다. 식이 미지수보다 많으니 대개 해가 없습니다.

그럼 포기할까요? 아니요. 질문을 바꿉니다.

❌ "모든 점을 정확히 지나는 직선은?" → 없습니다

✅ "가장 덜 틀린 직선은?" → 있습니다. 그것도 딱 하나

"덜 틀렸다"를 재는 자로 오차의 제곱의 합을 씁니다. 이것을 가장 작게 만드는 답이 최소제곱해예요. 데이터 분석·회귀분석·기계학습이 매일 하는 일이 이겁니다.

고등학생못 맞추는 방정식에 답하기

10강에서 해가 없는 경우를 봤습니다. 그럴 때 무엇을 하나요?

정확히 맞출 수 없으면 — 가장 덜 틀린 답을 찾는다

언제 이런 일이 생기나

상황	—
자료 100개 · 미지수 2개	10강의 과결정
측정에 오차가 있다	완벽히 맞을 리가 없다

현실 자료는 거의 항상 이 경우다

기하로 보면

—	—
b 가 열공간 밖에 있다	해가 없다 (15강)
그러면	열공간에서 가장 가까운 점을 찾는다 ⭐

16강의 정사영 그 자체다

비유 — 시험 문제 다 못 맞힐 때

태도	—
"만점이 아니면 안 낸다"	0점 ⚠
"가장 많이 맞히자"	합리적 ✔

완벽이 불가능하면 최선을 정의해야 한다 — 그게 응용수학의 태도다

이 공식은 외울 필요가 없습니다 — 정규방정식에서 저절로 나옵니다.

Python 브라우저에서 실행

# 점 6개에 직선을 맞춰 봅시다 (손으로)
점 = [(-4, -2), (-2, -1.5), (0, 0.5), (1, 1), (3, 2), (4, 3.5)]

n = len(점)
sx = sum(x for x, y in 점)
sy = sum(y for x, y in 점)
sxx = sum(x*x for x, y in 점)
sxy = sum(x*y for x, y in 점)

D = n*sxx - sx*sx
기울기 = (n*sxy - sx*sy) / D
절편   = (sxx*sy - sx*sxy) / D

print(f"최소제곱 직선: y = {기울기:.4f}x + {절편:.4f}")
print()
오차제곱합 = sum((y - (기울기*x + 절편))**2 for x, y in 점)
print(f"오차의 제곱합 = {오차제곱합:.5f}")
print()
print("조금씩 바꿔 보면 반드시 커집니다:")
for dm, dc in [(0.1, 0), (-0.1, 0), (0, 0.2), (0, -0.2)]:
    e = sum((y - ((기울기+dm)*x + (절편+dc)))**2 for x, y in 점)
    print(f"  기울기{dm:+.1f}, 절편{dc:+.1f} → {e:.5f}  ({'더 큼' if e > 오차제곱합 else '더 작음!'})")

🎮 직접 직선을 맞춰 보세요

점을 눌러 더하거나 지우고, 슬라이더로 내 직선을 움직여 보세요. 오차의 제곱합이 최소제곱 직선보다 작아지는 일이 절대 없습니다. 세로 주황 선분이 각 점의 오차예요.

고등학생왜 '제곱' 의 합인가

note 의 이 물음에 세 가지 답이 있습니다.

① 기하 — 거리가 제곱합이다

유클리드 거리 = √(오차²의 합) — 제곱합을 줄이면 거리가 최소

—	—
16강의 정사영	거리를 최소화한다 ✔

② 계산 — 미분이 쉽다

함수	미분
제곱	부드럽다 — 공식이 나온다 ✔
절댓값	꺾인다 — 공식이 없다 ⚠

제곱이라야 정규방정식이라는 깔끔한 식이 나온다

③ 통계 — 정규분포와 맞는다

오차가 정규분포면 최소제곱해가 최대가능도 추정치입니다.

세 가지 이유가 같은 답을 가리킨다 — 그래서 표준이 되었다

⚠ 그런데 약점이 있습니다

—	—
오차를 제곱하니	이상치가 크게 반영된다 ⚠

오차 10 은 100, 오차 100 은 10000 — 한 점이 전체를 끌어당긴다

대안

방법	—
절댓값 (L1)	이상치에 강하다 ✔ — 대신 계산이 어렵다
Huber	가까우면 제곱, 멀면 절댓값

"평균 vs 중앙값" 과 같은 대비다 — /stat 의 그 이야기

정사영으로 다시 보기

16강의 눈으로 보면 최소제곱법은 정사영 그 자체입니다.

점 여섯 개를 맞추는 문제를 Ax = b 로 적어 봅시다. A 는 각 점의 [x, 1] 을 쌓은 6×2 행렬, b 는 y 값 여섯 개, x 는 우리가 찾는 [기울기, 절편] 입니다.

b 는 6차원 벡터이고, A 의 열공간은 6차원 안의 2차원 평면입니다. b 가 그 평면 위에 있을 확률은 거의 없어요 — 그래서 해가 없습니다.

그러면 b 를 그 평면 위로 정사영합니다. 그 그림자에 대한 방정식은 반드시 풀리고, 그 답이 최소제곱해예요. "해가 없다"를 "가장 가까운 곳에 대한 해"로 바꾼 것입니다.

회귀분석의 공식은 정규방정식 한 줄에서 전부 나옵니다.

Python 브라우저에서 실행

def 전치(A): return [[행[j] for 행 in A] for j in range(len(A[0]))]
def 곱(A, B):
    return [[sum(A[i][k]*B[k][j] for k in range(len(B))) for j in range(len(B[0]))]
            for i in range(len(A))]
def Ax(A, x): return [sum(a*xi for a, xi in zip(행, x)) for 행 in A]

점 = [(-4, -2), (-2, -1.5), (0, 0.5), (1, 1), (3, 2), (4, 3.5)]
A = [[x, 1] for x, y in 점]      # 6x2
b = [y for x, y in 점]

At  = 전치(A)
AtA = 곱(At, A)
Atb = Ax(At, b)

d = AtA[0][0]*AtA[1][1] - AtA[0][1]*AtA[1][0]
xh = [(Atb[0]*AtA[1][1] - AtA[0][1]*Atb[1])/d,
      (AtA[0][0]*Atb[1] - Atb[0]*AtA[1][0])/d]

print("AᵀA =", [[round(v,3) for v in 행] for 행 in AtA])
print("Aᵀb =", [round(v,3) for v in Atb])
print()
print(f"x̂ = [기울기, 절편] = [{xh[0]:.4f}, {xh[1]:.4f}]")
print("→ 앞 셀의 공식과 같은 답입니다")
print()
e = [bi - pi for bi, pi in zip(b, Ax(A, xh))]
for j, 열 in enumerate(전치(A)):
    print(f"  (A의 {j+1}열)·e = {sum(c*ei for c, ei in zip(열, e)):.10f}")
print("→ 오차가 열공간과 직교합니다 ✓")

고등학생가우스와 소행성 세레스

note 의 이 이야기가 최소제곱법의 탄생입니다.

1801년 — 소행성이 사라졌다

상황

—	—
새 천체를 발견했다	세레스
41일 관측 후	태양 뒤로 사라졌다
다시 나타날 위치를	아무도 못 맞혔다

관측점은 몇 개뿐이고 오차가 있었다

24살 가우스가 한 일

—	—
최소제곱법으로 궤도를 추정	—
1년 뒤 예측 위치에서	정확히 발견 ✔

"오차가 있는 관측" 에서 참값을 짐작하는 방법이 태어났다

왜 이 사건이 중요한가

이전	이후
관측이 안 맞으면 버렸다	전부 써서 최선을 구한다 ✔

오차를 없앨 대상이 아니라 다룰 대상으로 본 것

이 발상이 현대 통계학의 시작이 됩니다.

지금도 같은 일을 합니다

분야	—
GPS	여러 위성 신호로 위치 추정
회귀분석	`/stat`
영상 정합	—

200년 전 방법이 지금도 매일 쓰인다

직선만이 아니다

최소제곱법은 직선 맞추기 전용이 아닙니다. Ax = b 꼴로 적을 수만 있으면 무엇이든 됩니다.

포물선을 맞추고 싶다면 A 의 열을 [x², x, 1] 로 하면 돼요. y = ax² + bx + c 에서 미지수 a, b, c 에 대해서는 여전히 일차이기 때문입니다. 곡선이라고 비선형인 게 아니에요 — 무엇에 대해 일차인가가 기준입니다.

변수가 여러 개인 경우(다중회귀), 주기함수 맞추기(푸리에), 심지어 신경망의 마지막 층도 전부 같은 틀입니다.

곡선이어도 미지수에 대해 일차면 최소제곱법이 그대로 통합니다.

Python 브라우저에서 실행

def 전치(A): return [[행[j] for 행 in A] for j in range(len(A[0]))]
def 곱(A, B):
    return [[sum(A[i][k]*B[k][j] for k in range(len(B))) for j in range(len(B[0]))]
            for i in range(len(A))]
def Ax(A, x): return [sum(a*xi for a, xi in zip(행, x)) for 행 in A]

def 소거로풀기(M, v):
    n = len(M)
    aug = [행[:] + [v[i]] for i, 행 in enumerate(M)]
    for c in range(n):
        축 = max(range(c, n), key=lambda i: abs(aug[i][c]))
        aug[c], aug[축] = aug[축], aug[c]
        aug[c] = [x / aug[c][c] for x in aug[c]]
        for i in range(n):
            if i != c:
                f = aug[i][c]
                aug[i] = [a - f*b for a, b in zip(aug[i], aug[c])]
    return [행[-1] for 행 in aug]

# 포물선 맞추기 — 열을 [x², x, 1] 로만 바꾸면 됩니다
점 = [(-2, 4.2), (-1, 1.1), (0, 0.2), (1, 0.9), (2, 4.1), (3, 9.3)]
A = [[x*x, x, 1] for x, y in 점]
b = [y for x, y in 점]

At = 전치(A)
계수 = 소거로풀기(곱(At, A), Ax(At, b))
print(f"y = {계수[0]:.4f}x² + {계수[1]:.4f}x + {계수[2]:.4f}")
print()
print("  x     실제 y    예측 y")
for (x, y), yp in zip(점, Ax(A, 계수)):
    print(f"  {x:>2}   {y:>6.2f}   {yp:>7.3f}")

고등학생정규방정식과 그 한계

17강을 마치며 실제 계산을 봅시다.

최소제곱해는 AᵀAx = Aᵀb 를 푼 것 — 정규방정식

어디서 나왔나

16강의 직교 조건입니다.

단계	—
오차 b−Ax 가 열공간에 직교	—
즉 A 의 모든 열과 내적이 0	Aᵀ(b−Ax) = 0
정리하면	AᵀAx = Aᵀb ✔

기하 조건이 대수 방정식이 되었다 — 16강의 그 전환

⚠ 실무에서는 이렇게 안 풉니다

—	—
AᵀA 를 만들면	조건수가 제곱된다 ⚠
10⁶ 이던 것이	10¹² — 계산이 무너진다

12강의 조건수 문제가 여기서 심각해진다

그래서 실제로는

방법	—
QR 분해	16강 그람-슈미트 — 안정적 ✔
SVD	20강 — 가장 안정적 ⭐

공식은 이해용이고 계산은 다른 방법으로 — 9강과 같은 조언

그리고 랭크가 모자라면

—	—
AᵀA 가 역행렬이 없다	해가 무한히 많다 ⚠
대책	규제 — `/ml` 11강 릿지 ⭐

릿지가 하는 일 — AᵀA 에 λI 를 더해 가역으로 만든다

대각선에 조금 더하면 납작함이 풀립니다. 기하적으로 그런 일이에요.

🤔 확인 문제

최소제곱법이 최소화하는 것은?

🤔 확인 문제

Ax = b 에 해가 없을 때 최소제곱법이 실제로 푸는 식은?

해설 정규방정식 AᵀAx̂ = Aᵀb 입니다. b 를 열공간 위로 정사영한 뒤 그것에 대해 푸는 것과 같아요.

🤔 확인 문제

최소제곱법의 약점으로 자주 지적되는 것은?