다섯 조각으로 나누고 돌아가며 한 조각씩 시험을 봅니다.
4강처럼 한 번 나누면 문제가 둘 생깁니다.
아깝다
표본이 100개인데 30개를 떼면 70개로만 배운다
흔들린다
어느 30개를 떼느냐에 따라 점수가 크게 달라진다
해법이 예쁩니다 — 돌아가면서 시험을 봅니다.
자료를 5조각으로 나눈다
1회차 [시험] 훈련 훈련 훈련 훈련
2회차 훈련 [시험] 훈련 훈련 훈련
3회차 훈련 훈련 [시험] 훈련 훈련
4회차 훈련 훈련 훈련 [시험] 훈련
5회차 훈련 훈련 훈련 훈련 [시험]
모든 표본이 정확히 한 번씩 시험을 본다
점수 다섯 개의 평균을 쓴다
고등학생 돌아가며 시험 보기
4강처럼 한 번 나누면 문제가 둘 생깁니다.
문제 설명 자료 낭비 검증 조각은 훈련에 못 쓴다 운 어떻게 나뉘었느냐에 점수가 흔들린다
자료가 적을수록 이 둘이 심각 해진다
교차검증의 발상
자료를 K조각 으로 나누고
돌아가며 한 조각씩 검증에 씁니다.
회차 검증 훈련 1 1조각 2,3,4,5 2 2조각 1,3,4,5 … … … 5 5조각 1,2,3,4
모든 자료가 한 번씩 검증에 쓰인다 — 낭비가 없다
그리고 점수가 K개 나옵니다
얻는 것 알 수 있는 것 평균 대략의 성능 표준편차 얼마나 흔들리나 ⭐
흔들림이 크면 그 점수를 믿으면 안 된다
0.80 ± 0.02 와 0.80 ± 0.15 는 완전히 다른 결과입니다.
평균만 보고하면 이 정보가 사라져요.
비유 — 조별 발표 순서 돌리기
한 조만 계속 평가하면 그 조 운 에 좌우됩니다.
돌아가며 하면 공정하죠.
여러 번 재면 운의 영향 이 드러난다
평균은 같고 <b>흔들림이 절반</b>으로 줍니다. 같은 모형인데 점수 범위가 저만큼 넓어요.
고등학생 K 를 몇으로 할까
K 값에도 맞바꿈 이 있습니다.
K 훈련 자료 계산 점수 흔들림 3 67% 적다 크다 5 80% 보통 보통 10 90% 많다 작다 n (LOO) 거의 전부 매우 많다 —
실무의 기본은 5 또는 10 — 관례이자 타협점
LOO — 하나만 빼기
K = n 이면 한 개씩 빼고 검증합니다.
자료가 아주 적을 때 씁니다.
장점 단점 훈련 자료를 최대한 n번 훈련 — 느리다 — 훈련 조각들이 거의 같아 추정이 불안정
두 번째가 의외다 — 비슷한 모형을 n번 보는 셈이다
층화를 잊지 마세요
양성이 드물면 어떤 조각에는 양성이 0개 일 수 있습니다.
방법 결과 그냥 무작위 조각마다 비율이 다르다 ⚠ 층화 K-겹 비율을 맞춘다 ✔
17강의 불균형 자료에서는 층화가 필수 다
그리고 4강의 규칙이 여기서도
자료 나누는 단위 한 사람이 여러 줄 사람 단위 겹여러 병원 병원 단위 겹시간이 있다 시간 순 겹
겹을 나누는 단위가 실제 배포 상황 과 같아야 한다
몇 조각으로 나눌 것인가
k 훈련에 쓰는 비율 계산량 언제 5 80% 5배 기본값. 대개 이걸로 충분하다 10 90% 10배 표본이 적을 때 n (하나씩 빼기) 거의 전부 n배 표본이 아주 적을 때. 흔들림이 오히려 커질 수 있다
그리고 층화 를 씁니다 — 결과가 드물면(17강) 조각마다 같은 비율이 들어가도록요.
안 그러면 어떤 조각에는 양성이 하나도 없어 채점 자체가 안 됩니다.
교차검증 안에서 모든 것을 해야 한다
표준화 · 결측 채우기 · 특징 고르기 — 이것을 교차검증 바깥에서 미리 하면 시험 조각의 정보가 이미 새어 들어갑니다.
고등학생 교차검증 안에서 모든 것을 해야 한다
note 의 이 경고가 가장 자주 어겨지는 규칙입니다.
특징 선택 · 눈금 맞추기 · 결측 채우기 — 전부 겹 안에서
잘못된 순서
전체 자료 로 좋은 유전자 100개를 고른다교차검증을 한다
AUC 0.95 ✨
1번에서 검증 조각의 정답 을 이미 봤다 ⚠
얼마나 부풀려지나
충격적입니다. 완전히 무작위 자료로도 —
순서 AUC 밖에서 특징 선택 0.9 이상 나올 수 있다 ⚠안에서 선택0.5 — 정직한 답 ✔
아무 신호가 없는 자료에서 0.9 가 나온다 — 그게 누출의 힘이다
올바른 순서
각 겹마다 하는 일 1 훈련 조각 안에서만 특징 선택 2 훈련 조각 안에서만 눈금 계산 3 훈련 → 검증 조각에 그 눈금 적용
검증 조각은 마지막 순간 에야 등장한다
비유 — 심사 전에 답안 보기
논술 심사에서 답안을 먼저 훑고
채점 기준 을 만들면?
순서 결과 기준 → 답안 공정 답안 → 기준 원하는 사람이 1등
4강의 과녁 그리기 와 똑같은 구조다
교차검증은 '고르는' 도구다
교차검증 점수는 최종 성능의 추정치가 아니라 , 여러 후보 중 하나를 고르는 잣대입니다.고르는 데 쓴 점수 예요 — 4강의 검증자료와 같은 처지입니다. 최종 채점은 따로 떼어 둔 시험자료 가 합니다.
고등학생 교차검증은 '고르는' 도구다
note 의 이 문장이 역할을 정확히 규정합니다.
교차검증 점수는 최종 성능이 아니다 — 고르는 데 쓴다
왜 최종 성능이 아닌가
여러 후보를 교차검증으로 비교하고 가장 좋은 것 을 골랐다면,
그 점수는 이미 고르는 데 썼습니다.
비교한 후보 최고 점수의 부풀림 2개 조금 10개 보통 100개 상당히 ⚠
4강의 다중 비교 문제가 여기서도 나타난다
그래서 세 층으로 나눕니다
층 역할 교차검증 (안쪽) 하이퍼파라미터를 고른다 교차검증 (바깥) 성능을 잰다 시험 자료 최종 확인 — 한 번
이걸 중첩 교차검증 이라 한다 — 고르기와 재기를 분리한다
비유 — 선발과 평가
일 맡는 사람 대표를 뽑는다 코치 (안쪽 CV) 대표의 실력을 잰다 다른 대회 (바깥 CV)
선발전 성적으로 "국가대표 실력" 을 말하면
가장 잘한 날 의 기록만 보는 셈입니다.
뽑은 기준으로 실력을 말할 수는 없다
실무의 현실
중첩 교차검증은 계산이 많이 듭니다.
그래서 자주 생략되죠.
생략했다면 "이 점수는 낙관적일 수 있다" 고 밝힌다 — 그게 정직이다
🤔 확인 문제
표본 60개로 5겹 교차검증을 하면서, 시작 전에 전체 60개로 특징을 골랐습니다. 문제는?
A 조각이 너무 적다
B 층화를 안 했다
C 특징을 고를 때 시험 조각의 정보를 이미 썼다 — 점수가 부풀려진다
D 문제 없다
해설 특징 고르기는 훈련 의 일부입니다. 매 회차마다 훈련 조각만으로 다시 골라야 해요 — 16강에서 이것이 얼마나 심하게 부풀리는지 직접 봅니다.
← 5강 과적합
이 강의 완료 ✓
7강 → 정확도 99% 짜리 쓸모없는 모형
