121강부터 157강까지 강, 일곱 단원입니다.
집필 완료. 01단원부터 07단원까지 121~157강 전체가 집필되었습니다. 이 과목은 관문 3(62~120강)을 통과한 뒤에 읽고, 마친 뒤에는 관문 4로 넘어갑니다.
S5까지 다룬 것은 모두 확정된 대상이었습니다. 함수의 값은 정해져 있었고, 행렬의 고유값은 계산하면 나왔으며, 경사흐름의 궤적은 초기값이 정해지면 유일했습니다.
그런데 119강 심화 5에서 다른 것이 나타났습니다.
실제 학습은 미니배치 기울기를 쓰므로 흐름에 잡음이 섞입니다. 같은 초기값에서 두 번 돌리면 다른 결과가 나옵니다.
더 근본적인 질문도 남아 있었습니다. S5는 손실함수 가 주어졌다고 보고 최소화했습니다. 그 가 어디에서 옵니까.
손실함수는 기댓값입니다. 이 식을 쓰려면 확률변수와 분포와 기댓값이 필요하며, 이 과목이 그것을 세웁니다.
확률론은 새 수학을 만들지 않습니다. 있는 도구를 새 대상에 쓸 뿐입니다.
| 확률의 개념 | 정체 | 어디서 배웠는가 |
|---|---|---|
| 사건 | 집합 | 26강 |
| 사건의 연산 | 합집합, 교집합, 여집합 | 26강, 22강 |
| 표본공간 크기 | 순열과 조합 | 19강, 20강 |
| 이산분포의 합 | 급수 | 18강, 54강 |
| 확률밀도의 넓이 | 정적분 | 48~53강 |
| 결합밀도의 부피 | 이중적분 | 103~106강 |
| 변수변환 | 야코비 행렬식 | 105강 |
| 공분산행렬 | 대칭 양반정부호 | 86강, 87강 |
| 다변량 정규분포 | 이차형식 | 87강 |
| 주성분분석 | 고유값 분해 | 89강 |
| 최대우도추정 | 제약 없는 최적화 | 107~112강 |
| 최대사후추정 | 정규화된 최적화 | 116강 |
| 특성함수 | 푸리에 변환 | 58~61강 |
마지막 세 줄이 이 과목의 종착점입니다. 통계적 추정이 최적화 문제로 바뀌고, 정규화가 사전분포로 읽히며, 중심극한정리가 푸리에 변환으로 증명됩니다.
일곱 단원이 네 덩어리로 묶입니다.
| 덩어리 | 단원 | 하는 일 |
|---|---|---|
| 언어를 세웁니다 | 01 | 표본공간, 공리, 조건부, 베이즈 |
| 대상을 옮깁니다 | 02, 03 | 확률변수, 분포, 기댓값 |
| 여러 개와 극한을 봅니다 | 04, 05 | 결합분포, 큰 수의 법칙, 중심극한정리 |
| 데이터로 판단합니다 | 06, 07 | 추정, 검정, 확률과정 |
02단원이 결정적 전환점입니다. 표본점에 수를 대응시켜 확률을 수직선 위로 옮기는 순간, 미적분 전체가 확률의 도구가 됩니다.
05단원이 이 과목의 정점입니다. 표본을 늘리면 표본평균이 참값으로 가고(큰 수의 법칙), 그 오차의 분포가 언제나 정규분포로 간다는(중심극한정리) 두 정리가 통계학 전체를 떠받칩니다.
| 단원 | 강의 | 하는 일 |
|---|---|---|
| 01. 확률의 언어 | 121~125 | 불확실성을 다루는 언어를 세웁니다 |
| 02. 확률변수와 분포 | 126~131 | 확률을 수직선 위로 옮깁니다 |
| 03. 기댓값과 적률 | 132~135 | 분포를 몇 개의 수로 요약합니다 |
| 04. 여러 변수의 확률 | 136~141 | 변수 사이의 관계를 다룹니다 |
| 05. 표본과 극한 | 142~147 | 표본을 늘리면 무엇이 일어나는지 봅니다 |
| 06. 추론 | 148~153 | 데이터로 모수를 추정하고 판단합니다 |
| 07. 확률과정 | 154~157 | 시간에 따라 변하는 확률을 다룹니다 |
| 이 과목의 것 | 쓰이는 곳 |
|---|---|
| 베이즈 정리 | 204강 나이브 베이즈, 213강 확률그래프모형 |
| 조건부 독립 | 414강 은닉 마르코프 모형 |
| 곱셈법칙의 연쇄 | 298강 자기회귀 언어모형 |
| 정규분포 | 140강, 240강 초기화, 261강 확산모형 |
| 중심극한정리 | 151강 신뢰구간, 부트스트랩 |
| 집중 부등식 | 통계적 학습이론, 일반화 오차 상한 |
| 최대우도추정 | 205강 로지스틱회귀, 249강 교차엔트로피 |
| 최대사후추정 | 211강 라소, 정규화의 베이즈 해석 |
| 몬테카를로 | 147강, 157강 MCMC, 286강 정책경사 |
| 마르코프 연쇄 | 274강 강화학습의 MDP |
| 확산과 랜덤워크 | 266강 확산모형 |
셋째 줄과 마지막 줄이 가장 멀리 갑니다. 자기회귀 언어모형의 정의식은 곱셈법칙의 항등식이고, 확산모형은 잡음을 더하는 확률미분방정식을 시간 역방향으로 푸는 것입니다. 둘 다 이 과목의 언어로만 쓸 수 있습니다.