이 단원은 126강부터 131강까지를 맡습니다. 확률을 수직선 위로 옮깁니다.
01단원에서 확률은 집합에 붙는 수였습니다. 사건은 표본공간의 부분집합이고 P는 그 부분집합에 값을 주는 함수였습니다.
이 방식에는 한계가 있습니다. 표본공간이 실험마다 제각각이라 서로 비교할 수 없습니다. 주사위 두 개는 순서쌍의 집합이고, 동전 던지기는 문자열의 집합이며, 키를 재는 실험은 사람의 집합입니다.
해법은 모든 결과를 수로 옮기는 것입니다.
X:Ω→R
확률이 수직선에 오는 순간 S3와 S5의 미적분이 통째로 확률의 도구가 됩니다.
| 확률의 대상 |
미적분의 도구 |
어느 강의 |
| 이산분포의 총합 |
급수 |
18, 54 |
| 정규화 근거 |
이항정리, 지수급수 |
20, 54 |
| 밀도의 정의 |
도함수 |
37 |
| 구간 확률 |
정적분 |
48 |
| F와 f의 관계 |
미적분학의 기본정리 |
49 |
| 감마함수의 재귀 |
부분적분 |
50 |
| 가우스 적분 |
극좌표 변환 |
104 |
| 변환 공식 |
야코비 인자 |
105 |
여덟 줄 모두 이 단원에서 실제로 쓰입니다. 확률론이 새 수학을 만드는 것이 아니라 있는 도구를 새 대상에 쓰는 것임이 여기서 분명해집니다.
분포는 서로 이어져 있습니다
여섯 개의 분포가 흩어진 목록이 아니라 하나의 그림입니다.
베르누이→이항→포아송→지수→감마
베르누이→기하→음이항→감마
이항→정규→카이제곱→감마
세 갈래가 모두 감마에서 만납니다.
| 이산 |
연속 |
무엇을 세는가 |
| 이항 |
포아송 |
정해진 범위의 횟수 |
| 기하 |
지수 |
첫 사건까지의 기다림 |
| 음이항 |
감마 |
r번째 사건까지의 기다림 |
왼쪽 열과 오른쪽 열이 같은 질문의 이산판과 연속판입니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
121강 문제 5에서 이런 것을 봤습니다.
P(X=0.5)=0,P(0.4≤X≤0.6)=0.2
한 점의 확률은 0인데 구간의 확률은 양수였고, 그때는 "확률을 사건에 준다"는 말로 넘어갔습니다.
129강 문제 1의 표가 그 답입니다.
| h |
P(a<X≤a+h) |
그 값 /h |
| 10^ |
0.003321975301 |
0.33219753 |
| 10^ |
0.000033467014 |
0.33467014 |
| 10^ |
0.000000003347 |
0.33469524 |
왼쪽은 0으로 가는데 오른쪽은 수렴합니다. 사라지는 것과 남는 것을 나누는 것이 밀도이며, 37강에서 도함수를 정의할 때와 같은 수법입니다.
이 단원에서 가장 자주 오해하는 자리입니다.
|
이산 |
연속 |
| 기본량 |
확률질량 p(x) |
밀도 f(x) |
| 상한 |
1입니다 |
없습니다 |
| 단위 |
무차원 |
1/길이 |
| 단위 변환 |
안 변합니다 |
변합니다 |
| P(X=a) |
p(a) |
0 |
f(x)dx가 확률이지 f(x)가 확률이 아닙니다. 129강 문제 2에서 밀도가 100까지 올라가는데 적분은 언제나 1인 것을 확인합니다.
실무의 함의가 있습니다. 연속 자료의 음의 로그가능도가 음수로 나와도 버그가 아닐 수 있습니다.
- 이 단원은 126,127,128,129,130,131강 순서로 읽어야 합니다.
- 01단원(121~125강) 전체가 전제입니다. 특히 121강 문제 3의 분할이 126강의 확률질량함수가 됩니다.
- 19강의 조합이 127강 이항계수의 정체입니다.
- 20강의 이항정리가 127강의 정규화 근거이고 128강 가법성의 증명입니다.
- 54강의 지수급수가 128강 포아송의 정규화 근거입니다.
- 48~53강의 적분이 129강부터 확률 계산기가 됩니다.
- 104강의 극좌표가 130강 2π의 유도입니다.
- 105강의 변수변환이 129강 문제 4의 야코비 인자입니다.
- 113강의 라그랑주 승수법이 130강 최대 엔트로피의 유도입니다.
- 124강의 독립이 127강과 130강에서 곱셈의 근거입니다.
- 확률변수와 분포함수
- 베르누이와 이항분포
- 포아송분포와 기하분포
- 연속확률변수와 확률밀도
- 정규분포
- 지수분포와 감마분포
-
- 확률변수와 분포함수
표본점에 수를 붙이는 함수로 확률변수를 정의하고, 역상이 자동으로 분할을 이룸을 봅니다. 누적분포함수를 세워 이산과 연속을 하나로 다루는 틀을 만들고, 변환에서 역상의 확률이 합쳐지는 규칙을 세웁니다.
-
- 베르누이와 이항분포
값이 둘뿐인 가장 단순한 확률변수를 지시함수로 읽고, 그것을 n번 반복해 이항분포를 유도합니다. 합으로 분해해 평균과 분산을 얻고, 두 갈래의 극한을 구별합니다.
-
- 포아송분포와 기하분포
드문 사건의 횟수와 첫 성공까지의 기다림을 다룹니다. 시간을 잘게 쪼개 포아송 극한이 성립하는 이유를 밝히고, 무기억성을 갖는 이산분포가 기하분포뿐임을 봅니다.
-
- 연속확률변수와 확률밀도
밀도를 극한으로 정의해 121강의 숙제를 해결합니다. 밀도가 확률이 아님을 확인하고, 미적분학의 기본정리로 F와 f를 이으며, 변환에 야코비 인자가 붙는 이유를 봅니다.
-
- 정규분포
극좌표 변환으로 정규화 상수를 유도합니다. 표준화로 모든 정규분포를 하나로 다루고, 선형변환과 독립 합에 닫혀 있음을 확인하며, 최대 엔트로피 성질로 기본값 관행을 정당화합니다.
-
- 지수분포와 감마분포
포아송 과정의 대기시간이 지수분포임을 보이고 위험률이 상수임을 확인합니다. 지수의 합이 감마임을 확인하고 감마함수를 세우며, 감마가 포아송의 켤레 사전임을 봅니다.
- 확률변수를 변수라고 생각하고 있지 않은가, 함수임을 알고 있는가?
- 연속에서 확률질량함수를 쓰고 있지 않은가?
- 밀도를 확률로 읽고 있지 않은가?
- 다대일 변환에서 역상의 확률을 모두 더했는가?
- 연속 변환에서 야코비 인자를 빠뜨리지 않았는가?
- 베르누이 시행의 세 조건이 실제로 성립하는가?
- 비복원 추출에 이항분포를 쓰고 있지 않은가?
- 분산을 독립 확인 없이 더하고 있지 않은가?
- 카운트 자료에서 평균과 분산을 비교해 보았는가?
- 무기억성을 마모가 있는 대상에 적용하고 있지 않은가?
- 감마와 기하의 모수화 판본을 확인했는가?
- 치우친 자료에 평균을 대푯값으로 쓰고 있지 않은가?
- 확률변수를 정의하고 확률질량함수와 분포함수를 구할 수 있습니다.
- 분포함수의 세 성질을 진술하고 역변환 표집을 설명할 수 있습니다.
- 이항, 포아송, 기하, 정규, 지수, 감마의 질량함수와 밀도를 쓸 수 있습니다.
- 각 분포의 평균과 분산을 유도할 수 있습니다.
- 합으로 분해해 모멘트를 얻는 수법을 쓸 수 있습니다.
- 이항의 두 극한을 구별하고 적절한 근사를 고를 수 있습니다.
- 무기억성을 진술하고 그것을 갖는 분포를 말할 수 있습니다.
- 밀도를 극한으로 정의하고 미적분으로 다룰 수 있습니다.
- 연속 변환에서 야코비 인자를 붙여 밀도를 옮길 수 있습니다.
- 가우스 적분을 극좌표로 유도할 수 있습니다.
- 표준화로 정규 확률을 계산할 수 있습니다.
- 감마함수의 성질을 쓰고 팩토리얼과 잇을 수 있습니다.
- 켤레 사전으로 모수를 갱신할 수 있습니다.
이 단원의 코드 검산에서 수치 자체가 교재가 된 자리가 셋 있습니다.
첫째, 공식에는 예외가 있습니다. 127강 문제 4에서 이항분포의 최빈값 ⌊(n+1)p⌋가 n=7, p=0.5에서 어긋났습니다. (n+1)p가 정수라 공동 최빈이었고, P(X=3)과 P(X=4)의 차이가 정확히 0이었습니다.
둘째, 근사의 정확도는 어디를 보느냐에 달렸습니다. 127강 문제 5의 연속성 보정이 중심에서는 오차를 340배 줄이지만 꼬리에서는 오히려 나빠집니다.
셋째, 검산 코드도 근사입니다. 131강 문제 3에서 Γ(1/2)를 격자로 적분하면 오차가 3.0×10−3인데, 치환 t=u2으로 특이점을 없애면 2.2×10−16이 됩니다. 열세 자릿수 차이이며, 이 오차를 고치지 않았다면 문제 4의 카이제곱 대조도 어긋났을 것입니다.
| 이 단원의 것 |
쓰이는 곳 |
| 확률변수와 분포함수 |
132강 기댓값, 136강 결합분포 |
| 이항과 베르누이 |
205강 로지스틱회귀, 249강 교차엔트로피 |
| 포아송 |
심화 3의 포아송 회귀, 카운트 자료 모형 |
| 기하와 할인율 |
274강 강화학습의 γ |
| 밀도와 변환 공식 |
139강, 263강 정규화 흐름 |
| 정규분포 |
140강 다변량 정규, 240강 초기화 |
| 최대 엔트로피 |
149강 지수족 |
| 감마와 카이제곱 |
145강 표본분포, 151강 신뢰구간 |
| 켤레 사전 |
150강 최대사후추정, 157강 MCMC |
| 지수분포와 위험률 |
생존분석, 이탈 예측 |
다섯째 줄이 가장 최근의 응용입니다. 정규화 흐름은 129강 문제 4의 변환 공식을 신경망으로 학습하며, 야코비 행렬식을 계산할 수 있게 구조를 설계하는 것이 핵심 과제입니다.
132강부터 시작하는 03단원 기댓값과 적률은 방향을 바꿉니다.
지금까지는 분포 전체를 다뤘습니다. 이제 몇 개의 수로 요약합니다.
E[X],Var[X],MX(t)=E[etX]
| 강의 |
하는 일 |
| 132 |
기댓값을 정의하고 선형성을 세웁니다 |
| 133 |
분산과 표준편차를 다룹니다 |
| 134 |
적률과 적률생성함수를 세웁니다 |
| 135 |
마르코프와 체비쇼프 부등식을 유도합니다 |
이 단원에서 이미 여러 번 쓴 것을 정식화합니다. 127강 문제 3의 "기댓값은 언제나 더해지고 분산은 독립일 때만 더해진다"가 132강과 133강의 주제이고, 128강 문제 3과 130강 문제 4의 합성곱 계산이 134강의 적률생성함수로 훨씬 쉬워집니다.
135강의 부등식들이 05단원으로 이어집니다. 마르코프에서 체비쇼프가 나오고, 체비쇼프에서 142강 큰 수의 법칙이 나오며, 그것을 날카롭게 한 것이 146강의 집중 부등식입니다.