이 단원은 121강부터 125강까지를 맡습니다. 불확실성을 다루는 언어를 세웁니다.
S5까지 다룬 것은 모두 확정된 대상이었습니다. 함수의 값은 정해져 있었고, 행렬의 고유값은 계산하면 나왔으며, 경사흐름의 궤적은 초기값이 정해지면 유일했습니다.
그런데 119강 심화 5에서 다른 것이 나타났습니다.
dx=−∇f(x)dt+ηΣ1/2dW
미니배치 기울기에는 잡음이 섞여 있고, 같은 초기값에서 두 번 학습을 돌리면 다른 결과가 나옵니다. 결과가 하나로 정해지지 않는 상황을 수로 옮기는 언어가 필요합니다.
놀랍게도 필요한 것이 이미 다 있습니다.
| 이 단원에서 쓰는 것 |
어디서 배웠는가 |
| 집합의 합집합, 교집합, 여집합 |
26강 |
| 드모르간 법칙 |
26강, 22강 |
| 함수와 대응 |
27강 |
| 셀 수 있음과 없음 |
29강 |
| 순열과 조합 |
19강 |
| 이항정리 |
20강 |
| 등비급수 |
18강 |
| 지수 급수 |
54강 |
| 공리계의 설계 |
23강 |
확률론은 집합론 위에 측도 하나를 얹은 것이며, 그 측도가 만족해야 할 조건이 단 세 줄입니다.
한 정의에서 전부 나옵니다
조건부확률의 정의 하나가 이 단원 후반부 전체를 낳습니다.
P(A∣B)=P(B)P(A∩B)
| 강의 |
이 정의를 어떻게 변형했는가 |
| 123 곱셈법칙 |
양변에 P(B)를 곱했습니다 |
| 123 전확률의 법칙 |
분할로 쪼개고 곱셈법칙을 썼습니다 |
| 124 독립 |
P(A∣B)=P(A)인 경우입니다 |
| 125 베이즈 정리 |
곱셈법칙 두 방향을 이었습니다 |
새 개념이 아니라 같은 식의 다른 얼굴들입니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
123강 문제 1의 표가 이 단원의 지도입니다. 같은 정의로 계산했는데 정보의 효과가 셋으로 갈립니다.
| 조건 |
결과 |
이름 |
| P(A∣B)=P(A) |
그대로입니다 |
독립(124강) |
| P(A∣B)>P(A) |
올라갑니다 |
지지하는 증거 |
| P(A∣B)=0 |
불가능해집니다 |
배반(121강) |
첫 줄과 셋째 줄이 정반대입니다. 배반은 정보가 최대이고 독립은 정보가 없습니다. 이 둘을 혼동하는 것이 이 단원에서 가장 흔한 오류입니다.
이 단원에서 가장 값진 교훈이며 두 번 나옵니다.
123강 문제 5에서 몬티 홀을 모든 경우로 전개해 풀었습니다.
| 규칙 |
바꿀 때 승률 |
| 사회자가 알고 연다 |
2/3 |
| 모르고 열었는데 염소였다 |
1/2 |
눈에 보이는 장면은 완전히 같은데 답이 다릅니다.
125강 문제 5에서 같은 문제를 베이즈로 다시 풀면 차이 나는 자리가 한 칸으로 압축됩니다.
| 규칙 |
P(E∣H1) |
P(E∣H2) |
P(E∣H3) |
| 알고 연다 |
0.5 |
1.0 |
0.0 |
| 모르고 연다 |
0.5 |
0.5 |
0.0 |
가능도 한 칸이 답을 가릅니다.
데이터를 어떻게 얻었는지가 데이터의 일부입니다
이 원칙이 결측 데이터, 중도 절단, 선택 편향, 조기 중단으로 이어지며 S7과 S8의 반복 주제가 됩니다.
125강 문제 1이 이 단원의 가장 실용적인 결과입니다. 유병률 0.001, 민감도 0.99, 특이도 0.95인 검사에서 양성일 때 실제로 병일 확률은 0.0194입니다.
| 값 |
수 |
| P(양성∣병) |
0.99 |
| P(병∣양성) |
0.0194 |
| 배율 |
50.9배 |
거짓양성이 참양성의 50.5배이기 때문입니다. 두 배율이 거의 같은 것이 우연이 아닙니다.
드문 사건을 찾는 모든 분류기가 이 구조이며, 사기 탐지와 이상 탐지와 희귀질환 선별이 모두 여기 해당합니다.
- 이 단원은 121,122,123,124,125강 순서로 읽어야 합니다.
- 19강의 순열과 조합이 122강에서 확률 계산기가 됩니다.
- 20강의 이항정리가 122강 포함배제의 부호 규칙을 증명합니다.
- 22강의 한정 기호 부정이 121강 드모르간 법칙과 같은 구조입니다.
- 23강의 공리계 설계 원칙이 122강 세 공리의 최소성 근거입니다.
- 26강의 집합 연산이 121강 사건 연산 그 자체입니다.
- 29강의 셀 수 있음이 121강 문제 4와 문제 5를 가릅니다.
- 54강의 지수 급수가 122강 교란순열의 극한을 줍니다.
- 116강의 정규화가 125강 심화 6에서 사전분포로 다시 읽힙니다.
- 119강 심화 5가 이 과목 전체의 동기입니다.
- 표본공간과 사건
- 확률의 공리와 셈
- 조건부확률
- 독립과 조건부 독립
- 베이즈 정리
-
- 표본공간과 사건
실험에 대응하는 표본공간을 설계하고 사건을 부분집합으로 정의합니다. 드모르간 법칙과 분할을 세우고, 표본공간이 유한, 가산, 연속일 때 확률을 주는 방식이 어떻게 달라지는지 봅니다.
-
- 확률의 공리와 셈
콜모고로프의 세 공리를 세우고 여사건 공식, 단조성, 포함배제, 부울 부등식을 유도합니다. 등확률 표본공간에서 확률이 셈으로 환원됨을 보이고, 생일 문제와 교란순열로 셈의 힘을 확인합니다.
-
- 조건부확률
정보가 들어올 때 확률이 갱신되는 통로를 정의합니다. 곱셈법칙과 전확률의 법칙을 유도하고, 조건부확률도 확률임을 보이며, 몬티 홀로 조건이 관측 절차를 포함함을 봅니다.
-
- 독립과 조건부 독립
정보가 쓸모없는 상황을 곱 형태로 정의합니다. 배반과 독립이 정반대임을 밝히고, 쌍별 독립과 상호 독립을 구별하며, 조건을 걸면 독립이 생기거나 사라지는 세 인과 구조를 봅니다.
-
- 베이즈 정리
곱셈법칙 두 방향을 이어 믿음의 갱신 절차를 완성합니다. 사전확률, 가능도, 사후확률의 구조를 세우고 오즈 형태로 갱신을 한 번의 곱으로 만들며, 기저율이 결론을 지배함을 정량화합니다.
- 표본공간을 먼저 정했는가, 등확률인지 확인했는가?
- 확률의 합이 1이라고 전체를 덮는다고 착각하지 않았는가?
- "적어도 하나"를 직접 세고 있지 않은가, 여사건이 더 쉽지 않은가?
- 배반과 독립을 반대로 쓰고 있지 않은가?
- 쌍별 독립을 상호 독립이라 부르고 있지 않은가?
- P(A∣B)와 P(B∣A)를 뒤집지 않았는가?
- 전체 확률을 단순평균으로 내고 있지 않은가?
- 사전확률을 빠뜨리고 가능도만 보고 있지 않은가?
- 데이터가 어떻게 관측되었는지를 가능도에 넣었는가?
- 조건부 독립 가정을 검증 없이 쓰고 있지 않은가?
- 실험에 맞는 표본공간을 설계하고 등확률 여부를 판정할 수 있습니다.
- 사건을 집합으로 쓰고 드모르간으로 부정을 옮길 수 있습니다.
- 세 공리에서 주요 따름정리를 유도할 수 있습니다.
- 포함배제와 부울 부등식을 상황에 맞게 골라 쓸 수 있습니다.
- 순열과 조합으로 확률을 계산할 수 있습니다.
- 곱셈법칙과 전확률의 법칙으로 복잡한 확률을 쪼갤 수 있습니다.
- 독립과 조건부 독립을 판정하고 구별할 수 있습니다.
- 세 인과 구조에서 조건화의 효과를 예측할 수 있습니다.
- 베이즈 정리로 사후확률을 계산하고 기저율의 영향을 설명할 수 있습니다.
- 오즈와 우도비로 증거의 강도를 정량화할 수 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 표본공간과 분할 |
126강 확률변수의 정의 |
| 가산가법성 |
129강 연속확률변수, 142강 극한정리 |
| 곱셈법칙의 연쇄 |
154강 마르코프 연쇄, 298강 언어모형 |
| 조건부 독립 |
213강 확률그래프모형, 414강 은닉 마르코프 |
| 전확률의 법칙 |
137강 조건부기댓값, 262강 ELBO |
| 베이즈 정리 |
150강 최대사후추정, 157강 MCMC |
| 오즈와 로그오즈 |
205강 로지스틱회귀 |
| 나이브 조건부 독립 |
204강 나이브 베이즈 |
| 기저율과 불균형 |
209강 분류 평가지표 |
| 사전분포와 정규화 |
116강 회수, 211강 라소 |
셋째 줄이 가장 멀리 갑니다. 자기회귀 언어모형의 정의식
P(x1,…,xn)=t∏P(xt∣x<t)
은 근사도 가정도 아니고 곱셈법칙을 n−1번 적용한 항등식입니다. 123강 심화 2에서 다룹니다.
126강부터 시작하는 02단원 확률변수와 분포는 무대를 옮깁니다.
지금까지 사건은 집합이었고 확률은 집합에 붙는 수였습니다. 이제 표본점에 수를 대응시켜 확률을 수직선 위로 옮깁니다.
X:Ω→R
121강 문제 3에서 이미 예고했습니다. "함수의 값으로 묶으면 자동으로 분할이 된다"고 했는데, 그 함수가 바로 확률변수입니다.
| 강의 |
하는 일 |
| 126 |
확률변수와 분포함수를 정의합니다 |
| 127 |
베르누이와 이항분포 |
| 128 |
포아송분포와 기하분포 |
| 129 |
연속확률변수와 확률밀도 |
| 130 |
정규분포 |
| 131 |
지수분포와 감마분포 |
이 전환의 대가가 큽니다. 확률이 수직선 위로 오면 미적분을 쓸 수 있습니다. S3의 적분이 확률밀도의 넓이가 되고, S5의 이중적분이 결합분포가 되며, 급수가 이산분포의 합이 됩니다.
121강 문제 5에서 남긴 숙제도 여기서 해결됩니다. 연속 표본공간에서 한 점의 확률이 0인데 구간의 확률은 양수라는 구조가, 129강의 확률밀도함수로 정확히 표현됩니다.