성능 지표 읽기 — 어디서 기다리고 있나

사장님이 전화합니다. "쇼핑몰이 느려요."

여러분은 SSH로 접속합니다. 그리고 3분 안에 원인이 CPU인지, 메모리인지, 디스크인지, 네트워크인지 찍어야 합니다. 그 방법을 배웁니다.

① load average — 줄 서 있는 사람 수

uptime이 보여 주는 세 숫자는 1분·5분·15분 평균입니다. "CPU 사용률"이 아니라 일하려고 기다리는 프로세스 수예요. 리눅스에서는 디스크를 기다리는 프로세스도 여기 포함됩니다.

② CPU 시간의 다섯 조각 — 여기가 핵심입니다

top의 %Cpu(s) 줄이 병목 진단의 가장 강력한 도구입니다.

③ vmstat — 한 화면에 다 있다

vmstat 1은 관리자가 가장 많이 쓰는 명령입니다. 첫 줄은 부팅 후 평균이라 버리고, 두 번째 줄부터 읽어요.

읽는 순서는 이렇습니다.

1. si/so 가 0인가? — 아니면 즉시 메모리 문제. 여기서 끝
2. b 가 0인가? — 아니면 디스크를 기다리는 프로세스가 있다
3. wa 를 본다 — 높으면 디스크 병목
4. r 을 코어 수와 비교 — r > 코어 수면 CPU에 줄이 섰다
5. cs 가 비정상적으로 큰가 — 문맥 교환 과다

직접 장애를 만들어 봅시다

stress-ng로 서버에 일부러 부하를 걸고, 지표가 어떻게 변하는지 확인합니다.

④ 어느 프로세스가 범인인가

⑤ 진단 순서 요약

1. uptime          → load / 코어수 로 심각도 파악
2. vmstat 1 5      → si/so 로 메모리 문제부터 배제
3. top             → us / sy / wa / si 로 병목 종류 결정
4. iostat -x       → wa 가 높으면 어느 디스크인지
5. ps aux --sort=-%cpu | head → 범인 프로세스 특정
6. 로그 확인       → 언제부터, 무엇 때문에