158강부터 177강까지 강, 네 단원입니다.
집필 완료. 01단원(158~162강), 02단원(163~167강), 03단원(168~172강), 04단원(173~177강)이 모두 집필되었습니다. 이 과목은 관문 4(121~157강)를 통과한 뒤에 읽습니다.
S6까지 다룬 것은 수학적 대상이었습니다. 확률변수는 정의된 대로 행동했고, 표본은 가정한 분포에서 나왔으며, 관측은 언제나 관측되었습니다.
이 식에서 가 실제로 무엇인지 물은 적이 없습니다.
실제 자료는 이렇게 생겼습니다. 어딘가의 표에 들어 있고, 다른 표와 이어야 뜻이 통하고, 칸이 비어 있고, 단위가 섞여 있고, 같은 사람이 두 번 들어 있습니다. 를 손에 넣는 것부터가 일입니다.
네 단원이 이 네 걸음입니다.
| S6까지 | S7 |
|---|---|
| 정리를 증명합니다 | 자료를 다룹니다 |
| 가정이 명시되어 있습니다 | 가정을 스스로 확인해야 합니다 |
| 답이 맞거나 틀립니다 | 답이 조용히 틀립니다 |
| 오류가 나면 멈춥니다 | 오류 없이 잘못된 숫자가 나옵니다 |
셋째 줄과 넷째 줄이 이 과목의 핵심입니다. 일대다 조인 뒤 합계를 내면 매출이 배 부푸는데 아무 오류도 나지 않고, 분할 전에 특징을 고르면 무작위 라벨에서 정확도 가 나옵니다.
그래서 이 과목의 기술은 대부분 검사입니다. 계산하는 법이 아니라 계산한 것이 무엇을 세고 있는지 확인하는 법을 배웁니다.
| 단원 | 강의 | 하는 일 |
|---|---|---|
| 01. 데이터를 손에 넣기 | 158~162 | 담고, 꺼내고, 잇고, 고치고, 굳힙니다 |
| 02. 기술통계 | 163~167 | 중심, 퍼짐, 모양, 관계, 범주형을 숫자로 줄입니다 |
| 03. 탐색과 시각화 | 168~172 | 분포와 관계를 그림으로 보고 잘못된 그래프를 가려냅니다 |
| 04. 표본과 조사 설계 | 173~177 | 표본이 어떻게 뽑혔고 무엇이 오차를 만드는지 따집니다 |
마지막 단원이 방향을 뒤집습니다. 앞의 셋은 주어진 자료로 무엇을 할 수 있는가를 물었고, 04단원은 이 자료로 무엇을 물으면 안 되는가를 묻습니다. 표본이 어떻게 뽑혔는지가 답할 수 있는 질문의 범위를 정합니다.
| 단원 | 범위 | 주제 |
|---|---|---|
| 01. 데이터를 손에 넣기 | 158~162강 | 타입, 질의, 조인, 결측과 이상치, 파이프라인 |
| 02. 기술통계 | 163~167강 | 중심과 퍼짐, 왜도와 첨도, 분위수와 상자그림, 두 변수의 관계, 범주형 요약 |
| 03. 탐색과 시각화 | 168~172강 | 시각화의 문법, 분포를 보는 그림, 관계를 보는 그림, 다변량 탐색, 잘못된 그래프 진단 |
| 04. 표본과 조사 설계 | 173~177강 | 표본추출법, 표본오차와 표본 크기, 층화와 가중치, 측정 오차와 응답 편향, 관측 데이터의 함정 |
| 필요한 것 | 어디서 배웠는가 |
|---|---|
| 명제와 논리 연산, 드모르간 | 22강 |
| 집합의 연산 | 26강 |
| 부동소수점 오차와 파국적 상쇄 | 92강 |
| 확률과 조건부확률 | 121~125강 |
| 기댓값, 분산, 상관 | 131~139강 |
| 표본평균의 분포와 표준오차 | 142~145강 |
| 편향과 분산, 추정량 | 148~149강 |
| 신뢰구간과 가설검정 | 151~152강 |
관문 4를 통과했다면 준비가 되어 있습니다.
| 이 과목의 것 | 어디서 쓰이는가 |
|---|---|
| 조인과 집계 | S8 회귀 자료 준비, 특징 공학 |
| 누출 방지 | S9 이후 모든 모형 평가 |
| 결측과 이상치 | S8 로버스트 회귀, 진단 |
| 시각화 | 전 과정의 결과 보고 |
| 표집과 조사 설계 | S8 인과추론, 실험 설계 |
둘째 줄이 가장 멀리 갑니다. 162강 문제 2의 누출은 자료 분석만의 문제가 아니라 모형을 만드는 모든 자리에서 되풀이되는 실패이며, 이 과목에서 그 구조를 한 번 익히면 뒤에서 반복해 씁니다.
S8은 이 과목에서 정리한 자료로 답을 만듭니다. 회귀와 분류, 인과추론이 그 도구이며, S7이 자료를 믿을 만하게 만들지 못했다면 S8의 모든 답이 그만큼 흔들립니다.