17강 / 20강

회귀 — '조정했다' 는 말의 뜻

기울기 하나가 대답하는 물음은 생각보다 좁다

논문에 이런 문장이 흔합니다 — "나이와 병기를 조정한 뒤에도 유의했다."

무엇을 어떻게 조정했다는 뜻일까요. 회귀가 하는 일을 한 줄로 적으면 이렇습니다.

y = β₀ + β₁·x₁ + β₂·x₂ + …

여기서 β₁ 이 뜻하는 것은 "x₂ 를 고정한 채 x₁ 만 한 단위 늘렸을 때 y 가 얼마나 변하나" 입니다.

"고정한 채" 가 조정입니다. 그런데 이건 산술적인 고정이지 실제로 실험에서 고정한 게 아니에요. 그 차이가 18강의 주제입니다.

고등학생'조정했다' 는 말의 뜻

논문에 이런 문장이 아주 흔합니다 — "나이와 병기를 조정한 뒤에도 유의했다."

무엇을 어떻게 조정했다는 뜻일까요?

y = β₀ + β₁·x₁ + β₂·x₂ + …

β₁ 이 뜻하는 것

x₂ 를 고정한 채 x₁ 만 한 단위 늘렸을 때 y 가 얼마나 변하나

"고정한 채" 가 조정입니다.

그런데 중요한 단서가 있습니다

이건 산술적인 고정이지 실험에서 고정한 게 아니다

비유 — 계산으로 빼는 것과 실제로 없애는 것

	실험에서 고정	통계로 조정
어떻게	실제로 같은 조건을 만든다	수식에서 빼낸다
예	같은 나이의 사람만 모은다	나이를 변수로 넣는다
안 잰 것은	무작위배정으로 같이 균형이 맞는다	그대로 남는다

잰 것만 조정할 수 있다 — 안 잰 것은 못 한다

이 차이가 18강의 주제이고, 관찰연구와 실험의 근본적인 차이입니다.

그래서 고등학교에서 배우는 것과 이어집니다

회귀직선은 수학에서 배웁니다 — 최소제곱법으로 기울기를 구하죠. 계산은 그대로예요.

달라지는 건 해석입니다. 기울기가 무슨 뜻인지, 그리고 무슨 뜻이 아닌지가 이 강의의 이야기입니다.

조정은 마법이 아닙니다. <b>잰 것만</b> 조정할 수 있어요.

Python 브라우저에서 실행

# '조정' 이 실제로 하는 계산
import numpy as np
rng = np.random.default_rng(131)

N = 400
age = rng.normal(60, 10, N)
# 치료는 무작위가 아니다 - 젊은 사람이 더 많이 받았다
treat = (rng.random(N) < 1 / (1 + np.exp((age - 60) / 5))).astype(float)
# 진실: 치료 효과는 +2. 나이는 -0.5 씩 나쁘게 만든다
y = 50 + 2.0 * treat - 0.5 * age + rng.normal(0, 5, N)

def ols(X, y):
    X = np.column_stack([np.ones(len(y))] + X)
    return np.linalg.lstsq(X, y, rcond=None)[0]

b_crude = ols([treat], y)
b_adj = ols([treat, age], y)

print("진실:  치료 효과 = +2.00,  나이 계수 = -0.50")
print()
print(f"조정 안 하면   치료 계수 {b_crude[1]:+.3f}   <- 부풀려졌다")
print(f"나이를 조정하면 치료 계수 {b_adj[1]:+.3f}   나이 계수 {b_adj[2]:+.3f}")
print()
print("젊은 사람이 치료를 더 받았고 젊은 것 자체가 좋았다.")
print("조정하지 않으면 '젊음의 이득' 이 치료의 공로로 붙는다.")
print()
print("주의: 조정이 통하는 것은 그 변수를 '쟀을 때' 뿐이다.")
print("안 잰 것은 조정할 수 없다.")

고등학생조정은 마법이 아닙니다

캡션이 짧고 강합니다 — "잰 것만 조정할 수 있어요".

무슨 뜻인가

회귀에 나이를 넣으면 나이의 영향이 걷힙니다. 그런데 안 잰 것은? 그대로 남아요.

변수	쟀나	조정되나
나이	O	된다
병기	O	된다
흡연력	X	안 된다
경제 형편	X	안 된다
모르는 무언가	X	안 된다

마지막 줄이 가장 무섭다 — 모르는 것은 잴 수도 없다

비유 — 방을 치우기

방을 청소했습니다. 눈에 보이는 먼지는 다 닦았어요.

그런데 침대 밑은요? 천장은요? 안 본 곳은 안 닦였습니다.

"청소했다" 는 말이 "완전히 깨끗하다" 를 뜻하지 않죠. "본 곳은 닦았다" 는 뜻입니다.

"조정했다" 는 "잰 것은 걷어냈다" 는 뜻일 뿐

그래서 논문을 읽을 때

"무엇을 조정했나" 를 확인하고, 더 중요하게는 "무엇을 안 쟀나" 를 생각해 보세요.

안 잰 것 중에 결과와 관련 있어 보이는 것이 있다면 그 결론은 흔들립니다.

그리고 이것이 무작위배정이 특별한 이유

무작위로 나누면 안 잰 것까지 균형이 맞는다

이게 임상시험이 관찰연구보다 강한 이유입니다. 동전을 던져 나누면 흡연력도, 경제 형편도, 모르는 것까지도 평균적으로 균형이 맞아요.

통계로는 절대 못 하는 일을 설계로 하는 겁니다.

고등학생회귀계수를 읽는 세 가지 주의

note 의 세 가지를 하나씩 풀어 봅시다.

① 단위를 본다

나이 1살당인지 10살당인지에 따라 수가 열 배 달라진다

계수가 0.02 라고 작아 보여도, 그게 1살당이면 10살당 0.2 입니다.

논문에서 "per 10 years" 같은 표기를 찾아보세요. 없으면 단위가 무엇인지 물어야 합니다.

② 다른 변수가 무엇인지 본다

같은 자료라도 무엇을 함께 넣었느냐로 계수가 바뀐다

이게 이상하게 느껴질 수 있는데, 당연한 일입니다. β₁ 의 정의가 "다른 변수를 고정한 채" 니까요.

고정하는 것이 달라지면 값도 달라집니다.

모형	β(치료)
치료만	0.8
치료 + 나이	0.5
치료 + 나이 + 병기	0.3

"β = 0.3" 만 적으면 아무 뜻이 없다 — 모형을 함께 적어야 한다

③ 인과가 아니다

조정은 관찰된 차이를 산술로 걷어낼 뿐입니다. 안 잰 교란은 그대로 남아요(18강).

"조정했으니 인과다" 는 가장 흔한 과장

퀴즈가 이걸 묻습니다 — "나이를 조정한 뒤에도 유의했다" 가 보장하지 않는 것은? 인과관계입니다.

그럼 언제 인과를 말할 수 있나

무작위배정을 했을 때 (임상시험)
또는 아주 정교한 설계가 있을 때 (자연실험 등)

관찰연구에서는 "관련이 있다" 까지가 정직한 선입니다.

선을 그을 때 잃는 것

회귀는 관계를 직선 하나로 요약합니다. 그런데 관계가 직선이 아니면요?

놓치는 경우

· 관계가 휘어 있다 (U 자 · 포화)
· 한쪽 끝의 이상값 몇 개가 기울기를 끌고 간다
· 두 무리가 섞여 있다

그래서

먼저 그려 본다. 산점도 없이 회귀계수만 읽는 것은 위험하다 — /viz 강의가 이것을 다룬다

같은 기울기·같은 상관계수를 갖지만 모양이 전혀 다른 자료 묶음을 만들 수 있습니다. 그림 없이는 구별할 방법이 없어요.

요약값 넷이 비슷해도 그림은 전혀 다릅니다. <b>먼저 그려 보세요.</b>

Python 브라우저에서 실행

# 요약값이 같아도 모양은 전혀 다를 수 있다
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(141)

def stats_of(x, y):
    r = np.corrcoef(x, y)[0, 1]
    b = np.polyfit(x, y, 1)[0]
    return x.mean(), y.mean(), r, b

sets = {}
x = np.linspace(1, 20, 60); sets["직선 + 잡음"] = (x, 3 + 0.5 * x + rng.normal(0, 1.4, 60))
x2 = np.linspace(1, 20, 60); sets["휘어 있다"] = (x2, 3 + 0.5 * x2 + 0.06 * (x2 - 10) ** 2 + rng.normal(0, .7, 60))
x3 = np.concatenate([np.linspace(1, 12, 57), [19.4, 19.7, 20]])
y3 = np.concatenate([np.full(57, 7.0) + rng.normal(0, .7, 57), [16.5, 17.2, 17.8]])
sets["이상값이 끈다"] = (x3, y3)

fig, axes = plt.subplots(1, 3, figsize=(10, 3.2))
for ax, (name, (xx, yy)) in zip(axes, sets.items()):
    ax.scatter(xx, yy, s=10)
    k = np.polyfit(xx, yy, 1)
    ax.plot(xx, np.polyval(k, xx))
    ax.set_title(name, fontsize=8)
plt.tight_layout(); plt.show()

print(f"{'':14} {'x평균':>7} {'y평균':>7} {'상관 r':>8} {'기울기':>8}")
for name, (xx, yy) in sets.items():
    mx, my, r, b = stats_of(xx, yy)
    print(f"{name:14} {mx:7.2f} {my:7.2f} {r:8.3f} {b:8.3f}")
print()
print("숫자만 보면 셋이 비슷하다. 그림을 보면 셋이 전혀 다르다.")

고등학생요약값 넷이 같아도 그림은 전혀 다릅니다

코드가 앤스컴의 사중주를 보여 줍니다. 통계학에서 가장 유명한 그림 중 하나예요.

평균 · 표준편차 · 상관계수 · 회귀직선이 전부 같은 자료 네 벌

그런데 그림은

자료	실제 모양
①	평범한 직선 관계
②	휘어진 곡선 — 직선이 아니다
③	완벽한 직선 + 이상값 하나
④	한 점 빼고 세로로 뭉쳐 있다

숫자로는 구별할 방법이 없다

각각이 다른 교훈을 줍니다

② — 관계가 직선이 아니면 회귀직선은 거짓말을 한다
③ — 이상값 하나가 기울기를 끌고 간다
④ — 점 하나가 상관계수를 전부 만들어 낸다

④가 특히 무섭습니다. 점 하나를 빼면 상관계수가 0 이 됩니다.

결론이 자료 한 점에 걸려 있을 수 있다

그래서 순서가 정해집니다

먼저 그려 본다. 산점도 없이 회귀계수만 읽는 것은 위험하다

3강에서 "숫자 하나로 줄이기 전에 분포를 보라" 고 했죠. 17강은 관계에 대해 같은 말을 합니다.

요즘은 더 쉽습니다

예전에는 그림 그리는 게 일이었습니다. 지금은 plt.scatter 한 줄이에요(/py 13강).

안 그릴 이유가 없습니다. 그리고 그리면 1초에 알 수 있는 걸 숫자로 영영 못 알 수도 있어요.

🤔 확인 문제

'나이를 조정한 뒤에도 치료 효과가 유의했다' 는 문장이 보장하지 않는 것은?