로드밸런싱 — 계산대를 늘리기

블랙프라이데이 아침 9시. 손님이 평소의 30배로 몰립니다. 앱 서버 한 대로는 감당이 안 돼요. 어떻게 할까요?

두 가지 길이 있습니다.

서버 1대를 더 좋게
CPU 4→16, RAM 8→64GB

서버를 3대, 5대로 늘림

수평 확장을 하려면 손님을 여러 대에 나눠 주는 사람이 필요합니다. 그게 로드밸런서이고, nginx가 그 일을 할 수 있어요.

upstream 블록 — 계산대 명단

upstream mallshop {
    server 10.0.1.11:8000;              ← 앱 서버 1호
    server 10.0.1.12:8000;              ← 앱 서버 2호
    server 10.0.1.13:8000 weight=2;     ← 좋은 장비라 2배 받음
    server 10.0.1.14:8000 backup;       ← 평소엔 놀다가 비상시만
}

server {
    location / {
        proxy_pass http://mallshop;     ← IP 대신 명단 이름
    }
}

나눠 주는 방법 세 가지

죽은 서버를 알아서 빼는 법

앱 서버 2호가 죽었는데 nginx가 계속 손님을 보내면 그 손님들은 502를 봅니다. nginx는 실패를 세어서 잠시 명단에서 빼 둡니다.

server 10.0.1.12:8000 max_fails=3 fail_timeout=30s;

30초 동안 3번 실패하면 그 서버를 30초간 건너뜁니다. 그 뒤 다시 한 번 찔러 보고, 살아났으면 명단에 복귀시켜요.

무중단 배포 — 이중화의 진짜 보상

서버가 두 대 이상이면 서비스를 멈추지 않고 새 버전을 올릴 수 있습니다.

이것을 롤링 배포라고 합니다. 한 대짜리 서버로는 절대 못 하는 일이에요. "이중화는 장애 대비용" 이라고만 생각하기 쉽지만, 평소의 배포 편의가 더 큰 이득일 때가 많습니다.