7강 / 20강

메모리 계층 — 가까울수록 작고 비싸다

레지스터에서 서울-런던까지, 기다림의 지도

CPU가 값 하나를 가져오는 데 걸리는 시간은 그 값이 어디 있느냐에 따라 어마어마하게 달라집니다. 얼마나 달라지는지 감이 잘 안 오죠?

그래서 1나노초를 1초로 늘려 사람의 시간으로 바꿔 보겠습니다.

고등학생가까울수록 작고 비싸다

1강에서 미뤘던 그 표를 이제 제대로 봅니다.

빠른 것은 비싸고 작다 · 큰 것은 싸고 느리다

층	크기	속도
레지스터	수백 바이트	0.3ns
L1 캐시	수십 KB	1ns
L3 캐시	수십 MB	20ns
메모리	수십 GB	100ns
SSD	수 TB	100,000ns

왜 다 빠른 걸로 안 만드나 — 돈과 물리

돈

L1 캐시 수준의 회로로 16GB 를 만들면 집 한 채 값이 넘습니다.

물리

그리고 넓으면 느려집니다. 전기 신호도 거리를 가야 하니까요.

거리	빛이 가는 시간
1cm	0.03ns
30cm	1ns

3GHz 면 한 사이클이 0.33ns — 빛이 10cm 가는 시간

즉 메모리가 멀리 있다는 것 자체가 지연입니다. 아무리 좋은 부품을 써도요.

물리 법칙이 구조를 정한다

고등학생사람 시간으로 바꿔 보면

나노초는 감이 안 옵니다. 1ns 를 1초 로 늘려 봅시다.

동작	실제	사람 시간
레지스터	0.3ns	0.3초 — 눈 깜빡
L1 캐시	1ns	1초
L2 캐시	4ns	4초
L3 캐시	20ns	20초
메모리	100ns	1분 40초
SSD	0.1ms	1.2일
HDD	10ms	4개월
서울→런던	150ms	5년

캐시에서 못 찾으면 1초가 1분 40초가 된다

이 표가 모든 걸 설명합니다

왜 캐시가 그렇게 중요한가 — 100배 차이니까
왜 디스크를 피하는가 — 1000배 더
왜 API 호출이 무서운가 — 5년!

반복문 안에서 API 를 부르는 것 = 매번 5년을 기다리는 것

비유로 다시

어디서 찾나	비유
레지스터	손에 들고 있다
캐시	책상 위
메모리	책장
SSD	창고
네트워크	다른 나라 도서관에 주문

이 표를 외우면 성능 감각이 생긴다

나노초를 초로 늘리면 감이 옵니다.

Python 브라우저에서 실행

# 1 나노초 = 1 초 로 늘려 본다
계층 = [
    ("레지스터",        0.3),
    ("L1 캐시",         1.1),
    ("L2 캐시",         4.5),
    ("L3 캐시",        18.0),
    ("메인 메모리",     85.0),
    ("NVMe SSD 읽기",  90_000.0),
    ("SATA SSD 읽기", 180_000.0),
    ("HDD 랜덤 읽기", 8_000_000.0),
    ("서울→도쿄 왕복", 35_000_000.0),
    ("서울→런던 왕복", 250_000_000.0),
]

def 사람시간(초):
    if 초 < 60:      return f"{초:.1f}초"
    if 초 < 3600:    return f"{초/60:.1f}분"
    if 초 < 86400:   return f"{초/3600:.1f}시간"
    if 초 < 86400*365: return f"{초/86400:.1f}일"
    return f"{초/86400/365:.1f}년"

print(f"{'어디서 가져오나':<18}{'실제':>14}   사람 시간으로 늘리면")
print("-" * 62)
for 이름, ns in 계층:
    실제 = f"{ns:,.1f} ns" if ns < 1000 else f"{ns/1e6:,.1f} ms"
    print(f"{이름:<18}{실제:>14}   {사람시간(ns)}")

고등학생이 표에서 꼭 기억할 세 줄

note 가 고른 세 줄을 왜 그것인지와 함께.

① 메모리는 캐시보다 100배 느리다

그래서 캐시에 들어가느냐 가 성능을 정합니다. 8강에서 순서만 바꿔 10배 가 되는 이유예요.

같은 계산량인데 10배 차이가 나는 게 여기서 온다

② 디스크는 메모리보다 1000배 느리다

그래서 스왑이 시작되면 서버가 죽은 것처럼 느려집니다. 16강의 그 이야기예요.

상태	체감
메모리에 다 있다	정상
스왑 시작	멈춘 것 같다

"조금 느려짐" 이 아니라 절벽이다

③ 네트워크는 디스크보다 또 10배 느리다

그래서 DB 조회 횟수가 웹 성능의 대부분입니다.

코드를 아무리 최적화해도 DB 를 100번 부르면 소용없어요.

N+1 문제가 가장 흔한 성능 버그인 이유

종합하면 실전 우선순위

순서	줄일 것	효과
1	네트워크 왕복	가장 크다
2	디스크 접근	크다
3	캐시 미스	중간
4	CPU 명령	대개 가장 작다

사람들은 거꾸로 최적화한다 — 4번부터

왜 그냥 전부 빠른 걸로 만들지 않을까

답은 셋입니다 — 돈, 크기, 물리 법칙.

계층	크기	1GB당 값(대략)	왜 이 크기인가
레지스터	수백 바이트	—	ALU 옆에 붙어야 해서
L1 캐시	48KB/코어	수천만 원	1클럭 안에 닿아야 해서
L3 캐시	12MB	수백만 원	칩 면적을 차지해서
DRAM	16GB	약 5,000원	칩 밖이라 신호가 멀다
NVMe SSD	512GB	약 200원	전원이 꺼져도 남아야 해서

L1을 16GB로 만들면? 칩이 자동차만 해지고, 신호가 한쪽 끝에서 다른 끝까지 가는 데 클럭 수백 개가 걸려서 결국 느려집니다. 크면 느릴 수밖에 없어요.

그럼 왜 이 계층이 실제로 잘 먹힐까 — 지역성

층층이 쌓아 놓고 "자주 쓰는 건 위층에" 두는 전략이 통하는 이유는 프로그램이 메모리를 제멋대로 쓰지 않기 때문입니다.

🕐

시간 지역성

방금 쓴 건 곧 또 쓴다
반복문의 변수 i

📏

공간 지역성

쓴 것 옆을 또 쓴다
배열을 순서대로 훑기

이 두 습관 덕분에, 아주 작은 캐시로도 95% 이상을 잡아낼 수 있습니다.

히트율 9%p 하락 = 4배 느려짐.

Python 브라우저에서 실행

# 히트율이 조금만 떨어져도 평균 시간이 어떻게 되는지 보자
L1_ns, RAM_ns = 1.1, 85.0

print(f"{'L1 히트율':>10}   평균 접근 시간   느려진 정도")
print("-" * 46)
기준 = None
for 히트율 in [0.99, 0.95, 0.90, 0.70, 0.50]:
    평균 = 히트율 * L1_ns + (1 - 히트율) * RAM_ns
    기준 = 기준 or 평균
    print(f"{히트율*100:>9.0f}%   {평균:>10.2f} ns   {평균/기준:>6.1f}배")

print()
print("→ 99% 에서 90% 로 '겨우 9%p' 떨어졌을 뿐인데 4배 가까이 느려집니다.")
print("  캐시는 아슬아슬한 저울 위에 있습니다.")

내 서버의 계층을 확인해 봅시다

이 서버의 캐시 크기와 캐시 라인 크기입니다.

bash 브라우저에서 실행

# 캐시 계층을 통째로 본다
lscpu | grep -A5 -i cache
echo "=== 코어 하나가 보는 L1 데이터 캐시 ==="
cat /sys/devices/system/cpu/cpu0/cache/index0/size
cat /sys/devices/system/cpu/cpu0/cache/index0/coherency_line_size

coherency_line_size가 64죠. 이게 캐시 라인입니다 — CPU가 메모리에서 뭔가를 가져올 때 항상 64바이트씩 통째로 가져온다는 뜻이에요. 1바이트만 필요해도 64바이트를 들고 옵니다.

왜 그럴까요? 공간 지역성 때문입니다. 어차피 옆 것도 곧 쓸 테니까. 다음 강에서 이 64바이트가 성능을 어떻게 가르는지 직접 재 봅니다.

-T 는 디스크가 아니라 캐시를 잰 값입니다. 차이를 보세요.

bash 브라우저에서 실행

# 메모리와 디스크의 실제 속도 차이를 재 본다
sysbench memory run | tail -4
echo "==="
hdparm -t /dev/nvme0n1
echo "==="
hdparm -T /dev/nvme0n1     # 이건 사실 메모리 속도다

고등학생지역성 — 계층이 통하는 이유

궁금한 점 — 계층이 왜 통하죠? 작은 캐시에 넣어 봐야 거기 없으면 소용없잖아요.

답 — 프로그램은 아무 데나 가지 않는다

두 가지 지역성

이름	뜻	예
시간 지역성	방금 쓴 것을 또 쓴다	반복문의 변수
공간 지역성	옆에 있는 것을 쓴다	배열을 순서대로

이 두 성질 덕에 작은 캐시가 잘 맞힌다

비유 — 책 읽기

책을 읽을 때 아무 쪽이나 펼치나요?

지금 쪽을 다시 본다 (시간)
다음 쪽으로 이어서 본다 (공간)

그러니 지금 부분만 책상에 두면 됩니다. 책 전체를 펴 놓을 필요가 없어요.

경험적 사실이지 법칙은 아니다

지역성이 깨지면 캐시가 무용지물

코드	지역성	속도
배열을 순서대로	좋다	빠르다
배열을 무작위로	없다	10배 느리다
연결 리스트 순회	나쁘다	느리다

같은 자료, 같은 개수 — 순서만 다른데 10배

8강에서 이걸 직접 재 봅니다. 그 실험이 이 강의에서 가장 인상적인 부분일 거예요.

🤔 확인 문제

서버가 스왑을 쓰기 시작하면 응답이 수십 배 느려집니다. 메모리 계층으로 설명하면?

해설 약 1000배 먼 곳으로 심부름을 보내는 셈입니다. 16강에서 실제로 스왑에 빠진 서버의 vmstat 을 읽어 봅니다 — si/so 칸에 숫자가 찍히면 그게 신호예요.

🤔 확인 문제

캐시가 작은데도 잘 먹히는 이유는?