10강 / 20강

파이프 — 작은 도구를 이어 붙이기

리눅스가 강력한 진짜 이유

여기서부터 리눅스가 재미있어집니다.

리눅스 명령들은 하나같이 단순합니다. grep 은 글자를 찾기만 하고, sort 는 정렬만 하고, wc 는 세기만 해요. 각각으로는 별것 없습니다.

그런데 이것들을 이어 붙이면 이야기가 달라집니다.

cat access.log|grep 404|wc -l

"접속 기록에서 · 404 인 줄만 골라 · 몇 줄인지 세라"

이 한 줄이 "우리 사이트에서 없는 페이지를 찾은 요청이 몇 건인가"를 알려 줍니다. 프로그램 한 줄도 짜지 않고요.

고등학생리눅스가 강력한 진짜 이유

지금까지 배운 명령들은 각자 단순했습니다. 그런데 이어 붙이면 이야기가 달라져요.

| — 앞 명령의 출력을 뒤 명령의 입력으로

예를 들어

ps aux | grep nginx | wc -l

단계	하는 일
`ps aux`	모든 프로세스 목록
`grep nginx`	nginx 인 것만 고른다
`wc -l`	줄 수를 센다

세 도구를 이어 "nginx 프로세스 개수" 를 구했다

비유 — 공장의 컨베이어 벨트

각 기계는 한 가지만 합니다.

기계	하는 일
1	재료를 내보낸다
2	불량품을 뺀다
3	센다

기계를 순서만 바꿔 다른 제품을 만든다

조합의 힘

도구 수	만들 수 있는 조합
10개	2개 조합 90가지
10개	3개 조합 720가지

도구를 더하면 가능성은 곱해진다

그래서 리눅스는 명령이 적어도 강력합니다. 조합이 폭발하니까요.

고등학생유닉스 철학 — 한 가지 일을 잘하라

note 가 소개하는 50년 된 원칙입니다.

작은 도구를 만들고 이어 붙여 쓴다

세 가지 원칙

원칙	뜻
한 가지만 하라	대신 잘 하라
함께 쓰이게 하라	입출력은 텍스트로
빨리 만들어 고쳐라	완벽보다 동작

두 번째가 결정적이다 — 텍스트가 공통 언어다

왜 텍스트인가

모든 도구가 같은 형식을 쓰면 아무거나 이을 수 있습니다.

형식	이을 수 있나
도구마다 다른 형식	변환기가 필요 ⚠
전부 텍스트	바로 이어진다 ✔

표준을 정하면 조합이 자유로워진다 — 4강의 그 이야기

비유 — 레고와 완성품 장난감

	완성품 장난감	레고
바로 쓰기	좋다	조립해야
다른 것 만들기	불가능	무한 ✔
결정적인 것	—	돌기의 규격

레고가 강한 이유는 블록이 아니라 규격이다

반대 철학도 있습니다

철학	예
작은 도구 여럿	유닉스 · 리눅스
거대한 하나	통합 개발 도구 · 큰 앱

둘 다 맞다 — 조합이 필요한 곳에서 유닉스가 이긴다

먼저 세 개의 통로를 알아야 합니다

모든 명령에는 입구 하나와 출구 둘이 달려 있습니다.

stdin (0)표준 입력들어오는 것 — 보통 키보드

stdout (1)표준 출력정상 결과 — 보통 화면

stderr (2)표준 오류오류 메시지 — 역시 화면

출구가 둘인 게 핵심입니다. 결과와 오류가 따로 나오기 때문에, 결과만 파일로 저장하고 오류는 화면에 남길 수 있어요.

🎮 파이프라인 조립기

블록을 이어 붙여 파이프라인을 만들어 보세요. 만든 것을 바로 실행해 볼 수 있습니다.

리다이렉션 — 출구를 파일로 돌리기

> 는 덮어쓰기, >> 는 이어 붙이기

bash 내 가상 Ubuntu 서버에서 실행

cd ~
echo "첫 줄" > 기록.txt
echo "둘째 줄" >> 기록.txt
echo "셋째 줄" >> 기록.txt
cat 기록.txt

고등학생파이프에 자주 쓰는 도구들

이어 붙일 부품 목록을 정리해 봅시다.

도구	하는 일
grep	줄을 고른다
awk	열을 뽑는다 · 계산한다
sed	치환한다
sort	줄 세운다
uniq	중복 제거 · 개수
wc	센다
head/tail	앞/뒤 몇 줄
cut	열을 자른다

여덟 개면 웬만한 로그 분석이 된다

가장 유명한 조합

sort | uniq -c | sort -rn | head

단계	하는 일
`sort`	같은 것을 모은다
`uniq -c`	개수를 센다
`sort -rn`	많은 순으로
`head`	상위 10개

"가장 많은 것 찾기" 의 만능 공식이다

왜 sort 가 먼저 필요한가

uniq 는 연속으로 같은 것만 묶습니다.

입력	uniq 결과
a b a b	a b a b — 안 묶인다 ⚠
a a b b	a b ✔

정렬해야 같은 것이 붙는다 — 그래서 sort 가 먼저

17강에서 이렇게 씁니다

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head

"가장 많이 접속한 IP 10개" — 한 줄로

공격을 받고 있는지 1초 만에 알 수 있습니다.

오류는 stdout 이 아니라서 파일에 담기지 않고 화면에 남습니다

bash 내 가상 Ubuntu 서버에서 실행

cd ~
ls /없는폴더 > 결과.txt
cat 결과.txt

| — 앞의 출력을 뒤의 입력으로

이제 진짜 파이프입니다. 우리 쇼핑몰의 접속 기록을 분석해 봅시다.

먼저 원본을 봅니다 — 이걸 사람이 눈으로 세긴 어렵죠

bash 내 가상 Ubuntu 서버에서 실행

sudo cat /var/log/nginx/access.log

① 전체 몇 줄인가

bash 내 가상 Ubuntu 서버에서 실행

sudo cat /var/log/nginx/access.log | wc -l

② 404 오류가 몇 건인가

bash 내 가상 Ubuntu 서버에서 실행

sudo grep 404 /var/log/nginx/access.log | wc -l

③ 어느 IP가 가장 많이 들어왔는가 — 파이프 다섯 개!

bash 내 가상 Ubuntu 서버에서 실행

sudo cat /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn

③번 한 줄을 뜯어봅시다. 각 단계가 앞의 결과를 받아 조금씩 다듬습니다.

cat 파일기록 전체를 흘려보낸다

awk '{print $1}'각 줄의 첫 칸(IP)만 뽑는다

sort같은 IP끼리 붙게 정렬

uniq -c연속된 같은 줄을 세어서 하나로

sort -rn숫자 기준 큰 것부터

결과 맨 위에 45.148.10.72 가 보이나요? /admin.php, /wp-login.php, /.env 를 찍어 대던 그 IP입니다. 공격 시도예요. 17강과 20강에서 다시 만납니다.

고등학생자주 쓰는 조합 다섯 개

note 의 조언대로 외워 둘 만한 것들입니다.

① 프로세스 찾기

ps aux | grep [n]ginx

대괄호를 쓰면 grep 자기 자신이 안 나온다 — 요령

② 큰 파일 찾기 (18강의 핵심)

du -sh /var/* | sort -rh | head

부분	뜻
`du -sh`	폴더 크기를 사람이 읽게
`sort -rh`	큰 순으로 (h = 사람 단위 이해)

디스크가 찼을 때 가장 먼저 치는 명령

③ 로그에서 오류만

tail -f /var/log/app.log | grep -i error

-f 는 실시간 — 새 줄이 오면 바로 보인다 (17강)

④ 포트를 쓰는 프로세스

ss -tlnp | grep 8000

18강의 "Address already in use" 를 풀 때 쓴다

⑤ 가장 많은 것 세기

awk '{print $1}' 파일 | sort | uniq -c | sort -rn | head

파이프의 함정 하나

sudo 는 첫 명령에만 걸립니다.

sudo cat log > /root/out.txt      # ⚠ 실패
sudo sh -c 'cat log > /root/out.txt'   # ✔

부분	누가 실행
`cat`	root
`>` 리다이렉션	내 셸 ⚠

리다이렉션은 셸이 한다 — sudo 밖이다

또는 | sudo tee 파일 을 씁니다. 실무에서 자주 쓰는 요령이에요.

🤔 확인 문제

ls -l | grep .py | wc -l 은 무엇을 하는가?

해설 ls -l(목록) → grep .py(걸러내기) → wc -l(줄 세기). 파이프는 앞의 출력을 뒤의 입력으로 흘려보냅니다.

🤔 확인 문제

> 와 | 의 차이는?

해설 > 는 파일로, | 는 다음 명령으로 보냅니다. 둘을 같이 쓸 수도 있어요: cat log | grep 404 > 오류.txt

🤔 확인 문제

… | sort | uniq -c 에서 sort 를 빼면 왜 결과가 이상해지는가?

해설 uniq 는 바로 앞 줄과만 비교합니다. A B A B 순이면 A 가 두 번 따로 세어져요. 그래서 sort 로 같은 것끼리 모은 뒤에 uniq -c 를 씁니다. 이 짝은 거의 항상 붙어 다닙니다.