4강 / 20강

엔트로피 — 모름의 양을 숫자로 적는다

스무고개에서 질문을 몇 번 해야 하나

상호정보량으로 가려면 그 재료인 엔트로피를 먼저 알아야 합니다. 어려운 말 같지만 뜻은 아주 실용적입니다.

엔트로피 H = 답을 맞히려면 예/아니오 질문을 몇 번 해야 하나

스무고개를 떠올려 보세요. 상대가 뭔가를 마음속에 정해 두었고, 나는 예/아니오 질문만으로 그것을 맞혀야 합니다. 질문을 몇 번 해야 할까요? 그 횟수가 곧 "내가 지금 얼마나 모르고 있는가"의 크기입니다.

🪙

동전

앞/뒤 두 가지 → 질문 1번 → H = 1 비트

🎲

주사위

여섯 가지 → 약 2.58번 → H = 2.58 비트

🔤

알파벳

26가지 → 약 4.7번 → H = 4.7 비트

가짓수가 n 개이고 전부 똑같이 그럴듯하다면 H = log₂ n 입니다. "질문 2.58번"이 이상하게 들리겠지만, 여러 번 반복할 때의 평균이라고 생각하면 됩니다.

고등학생모름의 양을 숫자로 적는다

엔트로피는 "얼마나 모르는가" 를 재는 자다.

H = −Σ pᵢ log₂ pᵢ

상황	엔트로피
답이 정해져 있음	0 — 모르는 게 없음
두 가지가 반반	1 비트
네 가지가 균등	2 비트
여덟 가지가 균등	3 비트

엔트로피는 정보의 양이 아니라 모름의 양이다 — 알면 줄어든다

H(X) = − Σᵢ p(xᵢ) · log₂ p(xᵢ)

공식을 뜯어보면 — −log₂ p 는 "그 일이 일어났을 때의 놀라움"입니다. 드문 일(p 가 작다)일수록 놀라움이 크죠. p = 1/2 이면 1 비트, p = 1/8 이면 3 비트.

거기에 p 를 곱해 전부 더하면 놀라움의 평균이 됩니다. 즉 엔트로피 = 평균적으로 얼마나 놀라게 되는가.

확실한 일(p = 1)의 놀라움은 −log₂ 1 = 0 — 하나도 안 놀랍습니다. 말이 되죠.

확률만 넣으면 되는 순수한 계산입니다. 이 세 줄이 상호정보량의 뼈대입니다.

Python 브라우저에서 실행

# 엔트로피를 직접 짜 봅니다. 세 줄이면 됩니다.
import numpy as np

def entropy(p):
    p = np.asarray(p, dtype=float)
    p = p[p > 0]                       # 0인 칸은 건너뜁니다 (0·log0 = 0 으로 봅니다)
    return float(-(p * np.log2(p)).sum()) + 0.0     # -0.0 이 나오지 않게

print("공평한 동전     :", round(entropy([0.5, 0.5]), 4), "비트")
print("공평한 주사위   :", round(entropy([1/6] * 6), 4), "비트")
print("알파벳 26자     :", round(entropy([1/26] * 26), 4), "비트")
print()
print("찌그러진 동전 (앞 99%):", round(entropy([0.99, 0.01]), 4), "비트")
print("완전히 정해진 것       :", round(entropy([1.0, 0.0]), 4), "비트")

고등학생스무고개로 이해하기

엔트로피는 맞히는 데 드는 예/아니오 질문의 수 다.

예 — 카드 8장 중 하나 맞히기

질문	남는 후보
—	8
1번 (절반으로 가르기)	4
2번	2
3번	1

3번이면 맞힌다. 그리고 log₂8 = 3.

균등하지 않으면 더 적게 든다

어떤 답이 훨씬 흔하면 그것부터 물어보면 평균적으로 덜 든다.

그래서 치우친 분포는 엔트로피가 낮다.

엔트로피는 최적으로 물어봤을 때 필요한 평균 질문 수다

그림이 아래에 붙어 나옵니다. 축 이름을 한글로 쓰면 글자가 깨지므로 영어로 둡니다.

Python 브라우저에서 실행

# 동전이 찌그러질수록 모름이 줄어드는 모습을 그려 봅니다.
import numpy as np
import matplotlib.pyplot as plt

def entropy(p):
    p = np.asarray(p, dtype=float); p = p[p > 0]
    return float(-(p * np.log2(p)).sum())

ps = np.linspace(0.001, 0.999, 200)
hs = [entropy([p, 1 - p]) for p in ps]

plt.figure(figsize=(7, 3.6))
plt.plot(ps, hs, lw=2.4, color="#6aa9e9")
plt.axvline(0.5, ls="--", lw=1, color="#94a3b8")
plt.scatter([0.5], [1.0], color="#f4a259", zorder=5, s=60)
plt.annotate("most uncertain (H=1)", (0.5, 1.0), (0.56, 0.82), fontsize=9,
             arrowprops=dict(arrowstyle="->", color="#f4a259"))
plt.xlabel("p (probability of heads)"); plt.ylabel("H (bits)")
plt.title("Entropy of a coin"); plt.tight_layout()
plt.show()

print("가장 모르는 상태는 언제나 '모두 똑같이 그럴듯할 때'입니다.")

🎮 확률을 직접 옮겨 보기

막대를 끌어 확률을 바꿔 보세요. 고르게 펴질수록 엔트로피가 커지고, 한쪽으로 몰릴수록 0 에 가까워집니다.

고등학생왜 log₂ 인가

밑	단위	쓰는 곳
2	비트	정보이론 · 컴퓨터
e	내트	수학 · 통계
10	해틀리	드묾

밑을 바꾸면 상수배가 될 뿐

log₂x = ln x / ln 2 이니 비례 관계 다.

그러니 비교 에는 어느 밑을 써도 상관없다. 절대값의 해석 만 달라진다.

비트가 직관적이다

"예/아니오 질문 몇 번" 이라는 해석이 비트 에서 자연스럽다.

단위를 고르는 것은 해석을 고르는 것이다 — 계산 결과는 비례한다

연속된 값에는 어떻게 쓰나

유전자 발현량은 6.31, 7.02, 5.88… 처럼 연속된 숫자입니다. "가짓수"가 없죠. 그러면 확률 p 를 어떻게 구할까요?

가장 쉬운 방법은 칸으로 나누는 것입니다. 값의 범위를 몇 칸으로 자르고, 각 칸에 몇 개가 들어갔는지 세어 비율을 내면 그것이 p 입니다. 히스토그램을 그리는 것과 똑같습니다.

칸 수를 7로 잡았습니다. 왜 7인지는 6강에서 따집니다.

Python 브라우저에서 실행

# 유전자 하나의 엔트로피를 칸을 나눠 재 봅니다.
import numpy as np
from arac import load_expr

genes, X, samples = load_expr("arac_expr.bin")
ix = {n: i for i, n in enumerate(genes)}

def entropy_of(x, bins=7):
    cnt, _ = np.histogram(x, bins=bins)          # 칸마다 몇 개?
    p = cnt / cnt.sum()                           # 비율로
    p = p[p > 0]
    return float(-(p * np.log2(p)).sum())

for name in ["DDX54", "MYC", "IL10", "GAPDH"]:
    x = X[ix[name]]
    print(f"{name:7s} H = {entropy_of(x):.3f} 비트   "
          f"(가장 클 수 있는 값 = log2(7) = {np.log2(7):.3f})")

print()
print("모든 유전자가 비슷합니다 — 다들 종 모양으로 퍼져 있으니까요.")
print("혼자 있을 때의 엔트로피는 별로 흥미롭지 않습니다. 둘을 같이 봐야 재미있어집니다.")

이제 둘을 같이 봅니다

혼자 있을 때의 엔트로피 H(X) 는 "X 를 맞히는 데 드는 질문 수"입니다. 그런데 Y 를 이미 알고 있다면 질문이 줄어들까요?

줄어든다면, 그 줄어든 만큼이 바로 Y 가 X 에 대해 알려 준 정보입니다. 그것이 다음 강의 상호정보량입니다.

MI(X;Y) = H(X) − H(X | Y)

원래 모름 − Y 를 알고 난 뒤의 모름

고등학생엔트로피가 쓰이는 다른 곳

분야	쓰임
압축	엔트로피가 압축의 이론적 한계
의사결정 나무	어느 질문이 가장 정보를 주나
서열 분석	어느 자리가 보존되어 있나
생태학	종 다양성 지수

첫 줄이 근본이다

섀넌이 증명한 것 — 엔트로피보다 더 압축할 수 없다.

파일을 압축할 때 얼마나 줄일 수 있는가 가 그 파일의 엔트로피로 정해진다.

같은 개념이 여러 곳에 쓰인다

"불확실성의 양" 이라는 개념이 분야를 가로질러 유용하다.

추상적인 개념일수록 여러 분야에서 쓰인다

🤔 확인 문제

공평한 8면체 주사위의 엔트로피는 몇 비트일까요?

해설 가짓수가 8이고 모두 똑같이 그럴듯하므로 log₂ 8 = 3 비트입니다. '1~4냐?' → '1~2냐?' → '1이냐?' 세 번 물으면 반드시 맞힙니다.

🤔 확인 문제

어떤 유전자의 발현량이 200명 모두에게서 정확히 같았다면 그 유전자의 엔트로피는?

🤔 확인 문제

연속된 발현량에서 엔트로피를 재려고 값을 칸으로 나눴습니다. 칸 수를 늘리면?

해설 칸이 많아지면 가짓수가 늘어 최대 엔트로피 log₂(칸 수) 도 커지고, 실제 값도 대체로 따라 올라갑니다. 이 성질이 6강의 골칫거리가 됩니다 — 칸 수를 바꾸면 MI 값 자체가 달라지거든요.