이 단원은 163강부터 167강까지를 맡습니다. 자료를 몇 개의 숫자로 줄입니다.
01단원이 자료를 손에 넣고 믿을 만하게 만들었습니다. 이제 그것을 요약합니다.
요약은 버리는 일입니다. 만 개의 값을 평균 하나로 줄이면 나머지는 전부 사라집니다. 그래서 이 단원의 물음은 언제나 두 개입니다. 무엇을 남길 것인가와 버린 것 안에 답이 있지는 않은가입니다.
| 강의 | 하는 일 |
|---|---|
| 163 | 중심과 퍼짐을 손실 최소화로 정의합니다 |
| 164 | 중심과 퍼짐이 못 잡는 모양을 적률로 잽니다 |
| 165 | 같은 것을 순위로 다시 재고 그림으로 만듭니다 |
| 166 | 두 변수 사이를 하나의 수로 줄입니다 |
| 167 | 수치가 아닌 범주를 표로 요약합니다 |
163강과 165강이 짝입니다. 하나는 값으로 재고 하나는 순위로 재며, 164강이 그 둘 사이에서 왜 다른 길이 필요한지를 보입니다.
| 강의 | 반례 | 무엇을 감췄는가 |
|---|---|---|
| 163 문제 4 | 앤스컴 자료 넷 | 평균, 분산, 상관, 회귀직선이 전부 같습니다 |
| 164 문제 3 | 의 첨도 | 참값이 여도 을 넘을 수 없습니다 |
| 165 문제 3 | 다섯 수가 같은 셋 | 봉우리 둘인 자료와 균등이 구별되지 않습니다 |
| 166 문제 2 | y=x^ | 완전히 결정된 관계인데 상관이 입니다 |
| 167 문제 4 | 두 부서의 합격률 | 합치면 부호가 뒤집힙니다 |
다섯 번 모두 결론이 같습니다. 그림을 봐야 합니다. 03단원 전체가 그 그림입니다.
163강 문제 1에서 중심을 손실 최소화로 정의했습니다.
를 무엇으로 두느냐가 모든 선택을 정합니다.
| 나오는 것 | 성질 | |
|---|---|---|
| 제곱 | 평균, 분산, 피어슨 상관 | 효율이 높고 이상치에 약합니다 |
| 절댓값 | 중앙값, MAD | 강건하고 효율이 낮습니다 |
| 순위 | 분위수, 스피어만, 켄달 | 단조변환에 불변합니다 |
이 표가 단원 전체의 지도입니다. 어느 줄을 고를지는 자료가 정하지 않고 무엇을 묻는지와 자료를 얼마나 믿는지가 정합니다.
| 이 단원의 개념 | 어디서 배웠는가 |
|---|---|
| 젠센 부등식 | 132강 |
| 기댓값과 분산, 공분산 | 131~139강 |
| 표준오차와 1/\sqrt | 142강 |
| 중심극한정리 | 143강 |
| 편향과 불편추정량 | 148강 |
| 다중비교 | 152강 |
| 심슨의 역설 | 153강 문제 5 |
| 붕괴점과 로버스트 추정 | 161강 문제 4 |
| 조건부확률의 방향 | 123강 |
첫째 줄이 세 번 나옵니다. 표준편차가 불편이 아닌 이유(163강), 산술평균이 기하평균보다 큰 이유(163강), 승산비가 합쳐지지 않는 이유(167강)가 전부 젠센입니다.
| 강의 | 검정통계량 | 효과 크기 |
|---|---|---|
| 164 문제 4 | 자르크-베라 | 왜도와 첨도의 값 |
| 167 문제 3 | 카이제곱 | 크라메르 , 위험차 |
앞의 것은 표본이 커지면 함께 커지고 뒤의 것은 그대로입니다. 그래서 값은 이탈의 크기를 말하지 못합니다. 표본이 크면 사소한 차이도 유의해지고 작으면 큰 차이도 잡히지 않습니다.
03단원은 요약이 놓친 것을 그림으로 봅니다. 168강이 시각화의 문법을 세우고, 169강부터 172강까지 분포와 관계를 보는 그림, 다변량 탐색, 그리고 잘못된 그래프를 가려내는 법으로 이어집니다.