19강 / 20강

로그 분석 — 서버가 남긴 발자국 읽기

스트리밍 집계 · Top-K · 슬라이딩 윈도우

어제 오후 3시경 사이트가 5분간 느렸다는 제보가 있습니다. 원인을 찾아야 해요. 단서는 접속 로그 2,400만 줄입니다.

211.45.x.x - - [19/Aug/2026:15:02:11] "GET /product/1042 HTTP/1.1" 200 8421 0.031
183.99.x.x - - [19/Aug/2026:15:02:11] "POST /api/cart HTTP/1.1" 200 142 0.008
45.77.x.x  - - [19/Aug/2026:15:02:12] "GET /search?q=%EC%9D%B4 HTTP/1.1" 200 20481 2.840

이 파일을 엑셀로 열려고 하면 안 됩니다. 컴퓨터가 멈춰요. 한 줄씩 읽으면서 필요한 것만 기억하는 방식이 필요합니다.

고등학생서버가 남긴 발자국 읽기

서버는 모든 일을 기록합니다. 그게 로그예요.

누가 · 언제 · 무엇을 · 결과가 어땠나

왜 읽나

물음	로그가 답한다
왜 느린가	어느 요청이 오래 걸리나
왜 오류가 나나	언제부터 · 어디서
누가 공격하나	어느 IP 가 이상한가

문제가 생기면 가장 먼저 보는 것

그런데 양이 어마어마합니다

초당 1,000 요청이면 하루에 8,600만 줄입니다. 파일 크기는 수십 GB 예요.

메모리에 다 담을 수가 없다

그래서 스트리밍

note 가 그 이야기를 합니다 — 전부 담지 않고 한 줄씩 읽으며 처리해요.

방식	메모리
전부 읽어서 처리	수십 GB — 불가능
한 줄씩 읽으며 세기	몇 MB ✔

지나간 줄은 버린다 — 세어 둔 숫자만 남긴다

고등학생스트리밍 처리 — 전부 담지 않는다

note 의 이 발상이 대용량 처리의 기본입니다.

자료를 흘려보내며 필요한 것만 기억한다

비유 — 강물에서 금 찾기

강물을 전부 퍼 담을 수는 없죠. 흐르는 물을 체로 거르며 금만 건집니다.

물은 지나가고 금만 남습니다.

지나간 것을 다시 볼 수 없다는 것이 제약

그래서 할 수 있는 것과 없는 것이 갈립니다

할 수 있다	어떻게
합계 · 개수	더해 나간다
최대 · 최소	더 큰 게 나오면 바꾼다
평균	합과 개수만 있으면 된다
상위 K개	K개짜리 힙을 유지

어렵다	왜
중앙값	전부 있어야 가운데를 안다
정확한 고유 개수	본 것을 다 기억해야

가운데를 알려면 양쪽을 다 봐야 한다

그래서 근사법을 씁니다

정확한 답 대신 거의 맞는 답을 적은 메모리로 구하는 알고리즘들이 있어요 (HyperLogLog 같은 것들).

정확도를 조금 내주고 메모리를 크게 아낀다

또 그 맞바꿈입니다. 이 강의에서 몇 번째로 나오는 구조일까요.

실무 로그 분석의 뼈대 전체입니다. 꼭 실행해 보세요.

Python 브라우저에서 실행

import re, random
from collections import Counter
import heapq

# 로그 2,000줄을 흉내내어 생성
random.seed(42)
경로들 = ["/", "/product/1042", "/product/2199", "/search", "/api/cart", "/api/order", "/login"]
ip들 = [f"211.45.{random.randint(1,20)}.{random.randint(1,255)}" for _ in range(60)]
봇ip = "45.77.99.13"

로그 = []
for i in range(2000):
    ip = 봇ip if random.random() < 0.12 else random.choice(ip들)
    경로 = random.choice(경로들)
    상태 = random.choices([200, 200, 200, 404, 500], weights=[70, 15, 8, 5, 2])[0]
    시간 = round(abs(random.gauss(0.05, 0.04)) + (2.5 if 경로 == "/search" and random.random() < 0.1 else 0), 3)
    로그.append(f'{ip} - - [19/Aug/2026:15:0{i%6}:11] "GET {경로} HTTP/1.1" {상태} 1024 {시간}')

# ── 한 줄씩 흘려보내며 집계 (전부 메모리에 담지 않음) ──
패턴 = re.compile(r'^(\S+) .*"(\S+) (\S+) [^"]*" (\d{3}) \d+ ([\d.]+)$')

ip카운트 = Counter()
경로카운트 = Counter()
상태카운트 = Counter()
느린것 = []                      # 크기 5짜리 힙만 유지
합계시간 = 건수 = 0

for 줄 in 로그:
    m = 패턴.match(줄)
    if not m:
        continue
    ip, 메서드, 경로, 상태, 시간 = m.group(1), m.group(2), m.group(3), int(m.group(4)), float(m.group(5))
    ip카운트[ip] += 1
    경로카운트[경로] += 1
    상태카운트[상태] += 1
    합계시간 += 시간; 건수 += 1
    heapq.heappush(느린것, (시간, 경로))
    if len(느린것) > 5:
        heapq.heappop(느린것)       # 가장 빠른 것을 버려 크기 5 유지

print(f"총 {건수:,}건 · 평균 응답 {합계시간/건수*1000:.1f} ms")
print()
print("🔝 접속 상위 IP")
for ip, n in ip카운트.most_common(3):
    표시 = "  🚨 의심!" if n > 건수 * 0.05 else ""
    print(f"   {ip:<18} {n:>5}건{표시}")
print()
print("📊 상태 코드:", dict(상태카운트))
print()
print("🐢 가장 느린 요청")
for 시간, 경로 in sorted(느린것, reverse=True):
    print(f"   {시간:>6.3f}s  {경로}")

🎮 로그 분석기

가상 로그를 생성하고 Top-K IP, 상태 코드 분포, 시간대별 요청 수를 실시간으로 집계합니다. 봇 비율을 올리면 이상 신호가 어떻게 보이는지 확인해 보세요.

슬라이딩 윈도우 — "최근 5분" 을 계속 갱신하기

"최근 5분간 요청 수"를 매초 알고 싶습니다. 매초 5분치를 다시 세면 낭비예요. 들어온 건 더하고, 나간 건 빼면 됩니다.

슬라이딩 윈도우는 17강 트래픽 제어와 18강 속도 규칙의 핵심 부품이기도 합니다.

Python 브라우저에서 실행

from collections import deque

class 슬라이딩윈도우:
    # 최근 N초 동안의 이벤트만 유지한다
    def __init__(self, 창초):
        self.창 = 창초
        self.q = deque()

    def 기록(self, 시각):
        self.q.append(시각)
        while self.q and self.q[0] <= 시각 - self.창:   # 창을 벗어난 것 버리기
            self.q.popleft()
        return len(self.q)

w = 슬라이딩윈도우(창초=10)

시각들 = [0, 1, 2, 3, 4, 5, 11, 12, 13, 14, 15, 25]
for t in 시각들:
    n = w.기록(t)
    막대 = "█" * n
    print(f"t={t:>3}초  최근 10초 요청 {n:>2}건  {막대}")

print()
print("💡 오래된 것은 앞에서 버리고 새 것은 뒤에 넣는다 — 11강의 deque 그대로입니다.")

로그 분석의 실전 함정

평균은 거짓말을 합니다. 평균 응답 50ms인데 100명 중 1명이 5초를 기다린다면? 평균 말고 p95 · p99(상위 5% · 1% 지점)를 보세요. "가장 느린 5%가 얼마나 느린가"가 진짜 체감 성능입니다.
시간대를 확인하세요. 서버 시간이 UTC면 한국 시간과 9시간 차이입니다. "새벽 6시에 트래픽 폭증"이 사실은 오후 3시일 수 있어요.
로그 자체가 부하가 됩니다. 모든 요청을 디스크에 쓰면 디스크가 병목이 돼요. 샘플링하거나 비동기로 쓰세요.
개인정보 — 로그에 주문자 이름·전화번호·카드번호가 남으면 안 됩니다. 마스킹은 기록하는 시점에 하세요.

고등학생로그 분석의 실전 함정

note 가 함정들을 모읍니다. 세는 일은 10강에서도 함정투성이였죠.

① 시간대가 섞인다

서버가 여러 곳에 있으면 시간대가 다릅니다. 그대로 세면 순서가 뒤죽박죽이 돼요.

로그는 UTC 로 통일하는 것이 관례

② 로그가 유실된다

서버가 바쁘면 로그를 못 쓰기도 합니다. 그러면 가장 바쁠 때의 기록이 없어요.

가장 알고 싶은 순간의 자료가 빠진다

다른 과목의 생존자 편향과 같은 구조입니다 — 빠진 것이 무작위가 아니에요.

③ 평균에 속는다

지표	보여 주는 것
평균 응답시간	대부분 괜찮으면 좋아 보인다
p99 (상위 1%)	가장 느린 손님의 경험

평균 100ms 인데 100명 중 1명은 5초 일 수 있다

/stat 3강의 치우친 분포 이야기예요. 응답시간은 오른쪽으로 길게 늘어집니다.

그래서 실무에서는 p95 · p99 를 봅니다

평균이 아니라 백분위수를요. "대부분 괜찮다" 가 아니라 "가장 나쁜 경우도 견딜 만한가" 를 묻는 겁니다.

서비스 품질은 최악의 경험이 정한다

평균만 보다가 장애를 놓치는 것 — 가장 흔한 실수입니다.

Python 브라우저에서 실행

import random
random.seed(7)

응답시간 = sorted([round(abs(random.gauss(0.05, 0.03)), 4) for _ in range(990)] +
                 [round(random.uniform(2, 8), 4) for _ in range(10)])   # 느린 1%

def 분위(정렬된, p):
    i = int(len(정렬된) * p / 100)
    return 정렬된[min(i, len(정렬된) - 1)]

평균 = sum(응답시간) / len(응답시간)
print(f"평균  {평균*1000:>8.1f} ms   ← 괜찮아 보입니다")
print(f"중앙값 {분위(응답시간,50)*1000:>8.1f} ms")
print(f"p95   {분위(응답시간,95)*1000:>8.1f} ms")
print(f"p99   {분위(응답시간,99)*1000:>8.1f} ms   ← 🚨 100명 중 1명은 이만큼 기다립니다")
print(f"최악  {응답시간[-1]*1000:>8.1f} ms")
print()
print("💡 '평균은 괜찮은데 고객 불만이 많다'의 답이 대개 여기 있습니다.")

고등학생Top-K 를 스트리밍으로

마지막 코드가 상위 K개를 스트리밍으로 구합니다. 10강과 19강이 만나는 자리예요.

전부 담지 않고 K개짜리 힙만 유지한다

어떻게 하나

K개짜리 최소 힙을 만든다
새 값이 오면 가장 작은 것과 비교
더 크면 바꾼다, 작으면 버린다

메모리는 K개만 쓴다 — n 이 아무리 커도

비유 — 오디션 심사

지원자가 1만 명인데 10명만 뽑습니다.

1만 명을 다 기억할 필요가 없죠. 지금까지의 상위 10명만 들고 있으면 됩니다.

새 지원자가	어떻게
10등보다 낫다	10등을 빼고 넣는다
10등보다 못하다	버린다

최종 결과는 전부 본 것과 같다

비용을 비교하면

방법	메모리	시간
전부 담고 정렬	O(n)	O(n log n)
K개 힙	O(k)	O(n log k)

K 가 작으면 메모리도 시간도 훨씬 낫다

6강에서 "상위 10개를 위해 100만 개를 정렬하는 건 낭비" 라고 했죠. 이게 그 답입니다.

🤔 확인 문제

2,400만 줄짜리 로그에서 IP별 접속 횟수를 구하는 가장 적절한 방법은?

🤔 확인 문제

평균 응답시간이 50ms인데 고객 불만이 많습니다. 다음으로 확인할 지표는?

🤔 확인 문제

"최근 5분간 요청 수"를 매초 갱신할 때 효율적인 자료구조는?

해설 슬라이딩 윈도우입니다. 뒤로 넣고 앞에서 버리는 deque — 11강의 큐가 그대로 쓰여요.