18강 / 20강

이상 탐지 — 수상한 주문 걸러내기

규칙 점수화 · 임계값 · 오탐과 미탐 사이의 줄타기

새벽 3시. 한 계정에서 10분 만에 주문 40건이 들어왔습니다. 전부 같은 고가 상품, 배송지는 전부 다르고, 카드는 모두 처음 보는 번호입니다.

도난 카드일 확률이 높습니다. 그런데 자동으로 막아도 될까요? 진짜 손님이 명절 선물을 40군데 보내는 걸 수도 있는데요.

이것이 이상 탐지(anomaly detection)의 본질적인 딜레마입니다.

고등학생수상한 주문 걸러내기

쇼핑몰에는 부정 주문이 옵니다 — 도난 카드, 대량 사재기, 쿠폰 악용.

어떻게 수상한 것을 알아볼까

가장 실용적인 출발점 — 규칙 점수화

AI 를 쓰기 전에 규칙 몇 개로 점수를 매깁니다.

규칙	점수
가입한 지 1시간 이내	+20
배송지와 카드 주소가 다름	+30
같은 IP 에서 여러 계정	+40
평소보다 10배 큰 금액	+25

합이 문턱을 넘으면 검토 대상

왜 규칙부터 하나

이해할 수 있다 — 왜 걸렸는지 설명된다
고치기 쉽다 — 규칙 하나만 바꾸면 된다
자료가 없어도 시작할 수 있다

AI 는 왜 걸렸는지 설명하기 어렵다

손님에게 "AI 가 수상하다고 했습니다" 라고 할 수는 없죠. 규칙이면 "주소가 달라서요" 라고 말할 수 있습니다.

고등학생규칙 기반 점수화

note 를 조금 더 봅시다. 왜 점수인가 가 중요해요.

규칙 하나로 판단하면 안 된다

단일 규칙의 문제

규칙	문제
"주소가 다르면 차단"	선물을 보내는 정상 손님이 걸린다
"신규 회원이면 차단"	모든 신규가 못 산다

하나만 보면 정상도 걸린다

그런데 여러 개가 겹치면

신규 + 주소 다름 + 고액 + 새벽 이 동시에 맞으면? 정상일 가능성이 확 낮아집니다.

약한 신호 여럿이 모이면 강한 신호가 된다

다른 과목에서 계속 나온 이야기입니다 — /bio 15강의 "네 개 모두 음수", /chem 17강의 "약한 결합 여럿이 모이면".

점수 방식의 좋은 점

장점	설명
문턱을 조절	엄격하게/느슨하게 한 숫자로
규칙 추가가 쉽다	점수만 정하면 된다
설명 가능	어느 규칙이 얼마 기여했는지 보인다

단순한 방법이 운영하기 쉽다

점수와 이유를 함께 남기는 것이 핵심입니다. 나중에 설명할 수 있어야 해요.

Python 브라우저에서 실행

def 위험점수(주문):
    점수, 이유 = 0, []
    if 주문["새카드"]:
        점수 += 20; 이유.append("처음 쓰는 카드 +20")
    if 주문["시각"] < 6:
        점수 += 10; 이유.append("새벽 주문 +10")
    if 주문["10분내주문수"] >= 5:
        점수 += 30; 이유.append(f"10분 내 {주문['10분내주문수']}건 +30")
    if 주문["금액"] >= 500000:
        점수 += 15; 이유.append("고액 주문 +15")
    if 주문["배송지"] != 주문["청구지"]:
        점수 += 15; 이유.append("배송지≠청구지 +15")
    if 주문["가입후일수"] < 1:
        점수 += 25; 이유.append("가입 당일 +25")
    return 점수, 이유

주문들 = [
    {"이름": "일반 주문",   "새카드": False, "시각": 14, "10분내주문수": 1,
     "금액":  39000, "배송지": "집", "청구지": "집", "가입후일수": 400},
    {"이름": "명절 선물",   "새카드": False, "시각": 20, "10분내주문수": 8,
     "금액": 320000, "배송지": "회사", "청구지": "집", "가입후일수": 900},
    {"이름": "의심 주문",   "새카드": True,  "시각":  3, "10분내주문수": 12,
     "금액": 890000, "배송지": "낯선곳", "청구지": "집", "가입후일수": 0},
]

임계값_검토, 임계값_차단 = 40, 70
for o in 주문들:
    점수, 이유 = 위험점수(o)
    조치 = "🚫 차단" if 점수 >= 임계값_차단 else ("⚠️ 수동 검토" if 점수 >= 임계값_검토 else "✅ 통과")
    print(f"{o['이름']:<8} 점수 {점수:>3}  {조치}")
    for r in 이유:
        print(f"           · {r}")
    print()

임계값 — 어디에 선을 그을 것인가

임계값을 낮추면 더 많이 잡지만 억울한 사람도 늘어납니다. 높이면 억울한 사람은 줄지만 진짜 사기를 놓칩니다.

이 두 종류의 실수에는 이름이 있습니다.

	실제로 사기	실제로 정상
사기로 판정	✅ 정탐 (TP)	⚠️ 오탐 (FP) 억울한 손님
정상으로 판정	🚨 미탐 (FN) 돈이 나감	✅ 정상 통과 (TN)

정밀도(precision) = 사기라고 한 것 중 진짜 사기 비율 → 억울함이 적은가
재현율(recall) = 진짜 사기 중 잡아낸 비율 → 얼마나 놓치지 않는가

둘은 동시에 올릴 수 없습니다. 하나를 올리면 다른 하나가 내려가요. 이 줄타기가 이상 탐지 운영의 전부입니다.

고등학생쇼핑몰에서 무엇이 더 아픈가

note 가 오탐과 미탐 을 다룹니다. /stat 10강의 그 이야기예요.

	정상인데 막음	부정인데 통과
이름	오탐 (거짓양성)	미탐 (거짓음성)
결과	손님이 화나서 떠난다	손해를 본다

어디에 문턱을 두든 한쪽이 늘어난다

쇼핑몰에서는 대개 오탐이 더 아픕니다

왜냐면 —

부정 주문은 돈으로 메울 수 있다
화난 손님은 안 돌아온다
그리고 주변에 말한다

손해는 계산되고 신뢰는 계산 안 된다

그런데 상황마다 다릅니다

업종	더 아픈 것
일반 쇼핑몰	오탐 (손님을 잃는다)
고액 거래	미탐 (한 건 손해가 크다)
의료 진단	미탐 (병을 놓친다)

무엇이 더 아픈지가 문턱을 정한다

그래서 실무의 타협

즉시 차단하지 않고 사람이 검토하게 합니다.

점수	처리
낮음	바로 통과
중간	사람이 확인 — 오탐을 줄인다
높음	차단

애매한 것은 기계가 결정하지 않는다

차단 말고 다른 선택지

"통과 아니면 차단" 두 가지만 있는 게 아닙니다. 중간 단계를 두면 오탐의 고통이 크게 줄어요.

점수	조치	손님 경험
0–39	그냥 통과	아무 일 없음
40–59	추가 인증 (문자 인증)	살짝 번거로움. 진짜 손님은 통과.
60–79	수동 검토 큐로 (11강!)	배송이 몇 시간 늦어짐
80+	자동 차단 + 알림	거절. 고객센터 문의 안내.

"의심스러우면 막지 말고 확인시켜라"가 좋은 원칙입니다.

고객마다 '평소'가 다릅니다. 절대 기준보다 개인 기준이 강력해요.

Python 브라우저에서 실행

import statistics

# 통계적 이상 탐지 — 평소와 얼마나 다른가 (Z-점수)
평소주문액 = [32000, 45000, 28000, 51000, 39000, 42000,
             36000, 47000, 33000, 41000, 38000, 44000]

평균 = statistics.mean(평소주문액)
표준편차 = statistics.stdev(평소주문액)

print(f"이 고객의 평소 주문액: 평균 {평균:,.0f}원 · 표준편차 {표준편차:,.0f}원")
print()

for 금액 in (40000, 95000, 480000, 2000000):
    z = (금액 - 평균) / 표준편차
    판정 = "✅ 평범" if abs(z) < 2 else ("⚠️ 이례적" if abs(z) < 3 else "🚨 매우 이례적")
    print(f"  {금액:>9,}원  Z = {z:>6.2f}  {판정}")

print()
print("💡 Z가 3을 넘으면 '평소 패턴에서 크게 벗어남'. 규칙 점수에 더해 쓰면 강력합니다.")
print("   단, 신규 고객은 '평소'가 없어서 이 방법을 못 씁니다 — 콜드 스타트 문제.")

고등학생속도 규칙 — 가장 잘 통하는 한 가지

note 가 실전에서 가장 효과적인 규칙 하나를 소개합니다.

속도 규칙(velocity rule) — 짧은 시간에 몇 번 했나

왜 잘 통하나

사람은 빠르게 여러 번 못 합니다. 그런데 프로그램은 합니다.

행동	사람	봇
1분에 주문	1~2건	수십 건
카드 시도	1~3번	수백 번

속도만 봐도 사람인지 아닌지 갈린다

그리고 무엇을 세는지가 다양합니다

무엇 기준	잡는 것
계정당	한 사람의 폭주
IP 당	여러 계정을 쓰는 봇
카드당	도난 카드 시험
배송지당	사재기 조직

계정을 바꿔도 IP 나 카드는 남는다

어떻게 세나 — 19강의 기술

슬라이딩 윈도우로 셉니다 — "최근 10분 동안 몇 번" 처럼요.

그리고 Counter(10강)와 deque(11강)가 여기서 그대로 쓰입니다.

배운 부품들이 실전 문제에 조립된다

한계도 있습니다

봇이 천천히 하면 안 걸립니다. 그래서 속도 규칙은 여러 규칙 중 하나 로만 씁니다.

완벽한 규칙은 없다 — 여럿을 겹쳐 쓴다

🤔 확인 문제

오탐(False Positive)이 의미하는 것은?

🤔 확인 문제

탐지 임계값을 낮추면 어떻게 될까요?

🤔 확인 문제

의심 점수가 중간 정도인 주문에 대한 가장 좋은 처리는?