이 단원은 215강부터 220강까지를 맡습니다. 여섯 가지 대표 방법을 세웁니다.
03단원이 답한 것은 **"답이 새 자료에서도 맞는가"**였습니다. 이 단원이 묻는 것은 다릅니다.
여섯 방법은 경쟁 관계가 아닙니다. 서로 다른 가정의 목록이고, 어느 것이 맞는지는 자료가 정합니다.
| 강의 | 무엇을 가정하는가 |
|---|---|
| 가까우면 비슷하다고 가정합니다 | |
| 변수들이 갈래를 알면 독립이라 가정합니다 | |
| 축에 나란한 상자로 나뉜다고 가정합니다 | |
| 위와 같되 흔들림을 평균으로 지웁니다 | |
| 위와 같되 잔차를 이어 고칩니다 | |
| 여백이 클수록 좋다고 가정합니다 |
강과 강이 양 끝입니다. 하나는 가정을 거의 안 하고 다른 하나는 아주 세게 합니다. 강부터 강은 나무 하나에서 여럿으로 넓히고, 강은 경계를 직접 긋습니다.
| 방법 | 무엇을 가정하나 | 경계 모양 | 어느 점이 중요한가 |
|---|---|---|---|
| 이웃 | 가까우면 비슷함 | 아무 모양 | 다수결이라 전부 |
| 나이브 베이즈 | 변수가 독립 | 대개 직선 | 전부 세기 |
| 나무 | 축에 나란함 | 계단 | 나눔 근처 |
| 숲 | 위와 같음 | 부드러운 계단 | 전부 |
| 부스팅 | 위와 같음 | 부드러운 계단 | 잔차가 큰 점 |
| 서포트 벡터 | 여백이 클수록 좋음 | 커널이 정함 | 경계 근처만 |
마지막 열이 이 단원의 숨은 주제입니다. "중요한 점"은 자료의 성질이 아니라 방법의 성질입니다. 강 문제 에서 경계 근처만 남기니 이웃 방법이 에서 으로 무너졌는데, 강 문제 에서는 개를 지워도 판정이 하나도 안 바뀌었습니다.
| 참 경계 | 이웃 방법 | 로지스틱 | 나무 |
|---|---|---|---|
| 직선 | 손해 | ||
| 원 | |||
| 배타적 논리합 |
배타적 논리합에서 로지스틱이 으로 동전 던지기보다 못합니다. 직선으로는 원리적으로 못 나누는 배치이기 때문입니다.
가정이 맞으면 이기고 틀리면 크게 집니다. 그리고 참 경계는 미리 알 수 없으므로, 강의 교차검증이 답을 자료에게 묻는 유일한 방법입니다.
| 무엇 | 편향 제곱 | 분산 | 합 |
|---|---|---|---|
| 숲 깊이 그루 | |||
| 숲 깊이 그루 | |||
| 부스팅 깊이 그루 |
숲은 분산만 줄이고 부스팅은 편향을 줄입니다. 그래서 개별 나무의 깊이를 정하는 방향이 정반대입니다. 숲은 깊게 키우고 부스팅은 얕게 씁니다.
| 문제 | 어디서 | 무엇이 같은가 |
|---|---|---|
| 표준화 안 하면 무너짐 | 강, 강 | 둘 다 거리를 씀 |
| 차원의 저주 | 강, 강 | 이웃과 칸 세기 |
| 가짓수 편향 | 강, 강 | 여러 번 보기 효과 |
| 외삽 불가 | 강, 강 | 나무를 쓰는 한 같음 |
| 갈래 치우침 | 강, 강 | 강과 강으로 |
첫 줄이 대표적입니다. 강에서 배율 이 정확도를 에서 로 떨어뜨렸고, 강에서 배율 이 를 으로 떨어뜨렸습니다. 커널도 거리를 쓰기 때문입니다.
| 이 단원의 개념 | 어디서 배웠는가 |
|---|---|
| 유효 자유도 | 강, 강 문제 |
| 유효 표본 크기 | 강, 강 문제 |
| 가중최소제곱 | 강, 강 문제 |
| 베이즈 규칙 | 강, 강 문제 |
| 사전분포와 평활 | 강, 강 문제 |
| 젠센 부등식 | 강, 강 문제 |
| 붓스트랩 | 강, 강 문제 |
| 평균의 분산 | 강, 강 문제 |
| 경사하강 | 강, 강 문제 |
| 벌점과 축소 | 강, 강 문제 |
| 조기 종료 | 강, 강 문제 |
| 라그랑주 승수 | 강, 강 심화 |
| 준양정부호 | 강, 강 문제 |
| 내적 | 강, 강 문제 |
| 완전 분리 | 강, 강 문제 |
마지막 줄이 이 단원을 열고 닫습니다. 강에서 완전 분리면 로지스틱 계수가 발산한다고 했고, 강이 그 자리에서 여백이라는 규칙을 넣어 답을 하나로 정했습니다.
| 습관 | 왜 |
|---|---|
| 거리를 쓰는 방법에는 먼저 표준화하기 | 강과 강에서 같은 손해 |
| 변수 중요도를 그대로 믿지 않기 | 강과 강의 두 가지 편향 |
| 기준선을 숲으로 잡기 | 손이 거의 안 가고 성능 추정이 딸려 나옴 |
05단원부터는 라벨이 없습니다.
이 단원에서 세운 여섯 방법이 모두 정답을 보고 배웠습니다. 강부터는 정답 없이 자료 안의 구조만으로 무언가를 찾아냅니다.