이 단원은 226강부터 230강까지를 맡습니다. 만든 모형을 어떻게 믿을 것인가를 묻습니다.
04단원과 05단원은 모형을 만드는 일이었습니다. 이 단원은 다릅니다.
만든 것을 재고 고치고 고르고 설명합니다
정확도 하나로는 아무것도 못 말합니다. 226강 문제 1에서 양성이 1퍼센트인 자료에 아무것도 안 잡고 전부 음성이라 답하면 정확도가 0.990600이 나옵니다.
| 강의 |
무엇을 묻는가 |
| 226 |
무엇으로 재야 하는지 정합니다 |
| 227 |
치우친 자료를 어떻게 다룰지 정합니다 |
| 228 |
어떤 변수를 넣을지 정합니다 |
| 229 |
손잡이를 어떻게 고를지 정합니다 |
| 230 |
무엇을 보고 판단했는지 설명합니다 |
226강과 227강이 한 쌍입니다. 치우침을 재는 법과 다루는 법입니다. 228강과 229강이 또 한 쌍이고, 변수와 손잡이를 정합니다.
학습에 쓴 자료로 재면 언제나 낙관됩니다
| 무엇을 학습에서 재면 |
얼마나 낙관되나 |
어디서 |
| 재표집 뒤 교차검증 |
ROC 0.993220 대 참값 0.764950 |
227강 문제 5 |
| 목표값 평균 인코딩 |
학습이 밖보다 0.173314 좋음 |
228강 문제 3 |
| 고른 손잡이의 점수 |
0.096279 낙관 |
229강 문제 5 |
| 치환 중요도 |
잡음 변수가 0.137180 대 0.013071 |
230강 문제 2 |
네 강의가 서로 다른 통로로 같은 병에 걸립니다. 규칙은 하나입니다. y를 쓰거나 고르는 데 쓴 자료로는 재지 않습니다.
| 무엇을 했나 |
재현율 |
정밀도 |
| 그대로 0.5 문턱 |
0.275000 |
0.622642 |
| 그대로 비율 문턱 |
0.941667 |
0.133570 |
| 늘리고 0.5 문턱 |
0.908333 |
0.153090 |
아래 두 줄이 거의 같습니다. 227강 문제 2에서 재표집은 문턱 옮기기와 사실상 같은 일을 더 비싸게 하는 것으로 드러났습니다.
그리고 재표집은 확률을 망가뜨립니다. 평균 예측 확률이 0.022275에서 0.140476으로 여섯 배 오릅니다.
| 무엇 |
벌점 세기 |
따로 뗀 오차 |
| 가장 나쁜 값 |
1000.0000 |
7.038497 |
| 기본값 1.0 |
1.0000 |
4.046118 |
| 가장 좋은 값 |
10.0000 |
3.352680 |
2.099365배 차이입니다. 229강 문제 1의 결론이고, 모형을 바꾸는 것보다 손잡이 하나가 크게 듭니다.
| 무엇을 넣었나 |
변수 수 |
결정계수 |
| 원래 변수 셋 |
3 |
0.200825 |
| 네제곱까지 |
12 |
따로 뗀 오차가 오히려 나빠짐 |
| 참 모양 그대로 |
3 |
0.968015 |
228강 문제 1입니다. 변수를 많이 만드는 것이 아니라 맞는 것을 만드는 일입니다.
| 변수 |
계수 |
참 인과 효과 |
| x1 |
0.898118 |
0.000000 |
| x2 |
0.988487 |
0.000000 |
| x3 |
0.503632 |
0.500000 |
230강 문제 1에서 그림자 변수 둘이 인과 효과 0인데 계수가 0.9 근처입니다.
중요도 표를 받은 사람은 대개 그것을 개입 지침으로 읽습니다. 그것이 이 단원이 마지막에 못 박는 것입니다.
| 이 단원의 개념 |
어디서 배웠는가 |
| 조건부확률 |
119강, 226강 문제 1 |
| 사전확률 보정 |
216강, 227강 문제 3 |
| 축소 추정 |
163강, 228강 심화 2 |
| 기저 전개 |
201강, 228강 문제 4 |
| 차원의 저주 |
209강, 228강 문제 4 |
| 바깥 추정 |
213강, 230강 문제 3 |
| 층화 표집 |
212강, 227강 문제 5 |
| 겹친 교차검증 |
212강, 229강 문제 5 |
| 편향과 분산 |
212강, 229강 문제 3 |
| 특이값 분해 |
84강, 229강 문제 4 |
| 절편의 뜻 |
208강, 227강 문제 3 |
| 앙상블 |
218강, 230강 문제 2 |
212강이 이 단원 내내 따라다닙니다. 무엇을 어디서 재느냐가 네 강의 모두의 중심입니다.
| 습관 |
왜 |
| 지표를 먼저 정하기 |
문턱이 결정이기 때문 |
| 문턱부터 옮겨 보기 |
가장 싸고 대개 충분하기 때문 |
| y를 쓰는 변환은 겹 안에서 |
누출이 조용히 들어오기 때문 |
| 로그 눈금에서 넓게 훑기 |
배수로 듣는 손잡이가 많기 때문 |
| 설명에 흔들리는 폭 적기 |
순위는 믿고 값은 덜 믿기 때문 |
07단원부터는 시간이 흐르는 자료를 다룹니다.
만든 모형을 어떻게 믿을 것인가⟶어제가 오늘을 만드는 자료를 어떻게 다룰 것인가
지금까지는 관측들이 서로 독립이라고 봤습니다. 그런데 시계열에서는 그 가정부터 무너지고, 교차검증조차 다시 정의해야 합니다. 무작위로 겹을 나누면 미래가 과거를 예측하는 데 쓰입니다.