이 단원은 132강부터 135강까지를 맡습니다. 분포를 몇 개의 수로 요약합니다.
02단원에서 분포를 여섯 개 세웠습니다. 각 분포는 모든 값에 대한 확률의 목록이며 정보가 완전합니다.
그런데 완전한 정보가 늘 좋은 것은 아닙니다. 두 분포를 비교하려면 목록 전체를 견줘야 하고, 사람에게 전달하려면 그림이 필요하며, 최적화하려면 미분할 대상이 있어야 합니다.
요약한다 ⟶ 요약으로 무엇을 말할 수 있는가
앞의 세 강의가 요약이고 마지막 강의가 그 요약의 힘입니다.
| 강의 |
무엇을 요약하는가 |
| 132 |
중심을 하나의 수로 |
| 133 |
퍼짐을 하나의 수로 |
| 134 |
모든 차수를 하나의 함수로 |
| 135 |
요약만으로 확률을 제한 |
135강이 이 단원의 값어치를 회수합니다. 평균만 알아도, 분산까지 알면 더, 적률생성함수까지 알면 훨씬 더 많은 것을 말할 수 있습니다.
E[X+Y]=E[X]+E[Y]
독립이 전혀 필요 없습니다. 분산은 독립을 요구하고 곱의 기댓값도 독립을 요구하는데, 합의 기댓값만은 조건이 없습니다.
이 하나로 122강에서 애써 세었던 문제들이 한 줄로 풀립니다.
| 문제 |
지시함수 |
기댓값 |
| 생일 충돌 쌍 (n=23) |
각 쌍의 일치 |
(223)/365=0.693151 |
| 교란순열 고정점 |
각 원소의 제자리 |
n⋅n1=1 |
| 쿠폰 수집가 |
각 단계의 대기 |
nH_ |
첫 줄에서 놀라운 것이 나옵니다. 0.693151이 log2=0.693147과 거의 같습니다. 충돌 수를 포아송으로 근사하면
P(충돌 없음)≈e−0.6932=0.499998
이라 정확히 절반입니다. 122강에서 "쌍의 수가 커지기 때문"이라 두루뭉술하게 넘어간 설명이 여기서 수식이 됩니다.
퍼짐을 재는 척도로 제곱편차를 쓰는 이유가 셋입니다.
| 이유 |
내용 |
| 미분가능 |
어디서나 미분되어 최적화에 씁니다 |
| 가법성 |
독립이면 정확히 더해집니다 |
| 기하 |
직교 분해에 대응합니다 |
셋째가 깊습니다. 확률변수를 벡터로 보고 E[XY]를 내적으로 보면 63강의 내적공간 구조가 그대로 나타납니다.
| 확률 |
내적공간 |
| 분산 |
노름의 제곱 |
| 표준편차 |
노름 |
| 공분산 |
내적 |
| 상관계수 |
각도의 코사인 |
| 독립 합의 분산 |
피타고라스 정리 |
| 조건부기댓값 |
정사영 |
마지막 줄이 137강의 주제이며, 80강의 정사영과 82강의 최소제곱이 확률의 언어로 다시 나타납니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
134강의 적률생성함수가 02단원의 수고를 지웁니다.
MX+Y(t)=MX(t)MY(t)
128강에서 포아송의 가법성을 합성곱과 이항정리로 확인했고 130강에서는 정규분포에 수치 합성곱을 돌렸는데, 곱셈 한 번으로 끝납니다. 검산에서 세 경우 모두 차이가 정확히 0입니다.
| 합 |
M_{X}\cdot M_ |
합의 M |
차이 |
| Pois(2)+Pois(3) |
5.7505415782 |
5.7505415782 |
0 |
| Bin(4,.3)+Bin(6,.3) |
2.7130406433 |
2.7130406433 |
0 |
| N(1,1)+N(2,4) |
3.0802168489 |
3.0802168489 |
0 |
58강의 푸리에 변환과 같은 구조이며, 어려운 연산을 쉬운 연산으로 옮겨 계산한 뒤 되돌리는 발상입니다.
135강의 계층이 이 단원의 결론입니다.
| 아는 것 |
부등식 |
감소 |
a=80에서의 상한 |
| 평균 |
마르코프 |
1/a |
|
| 분산 |
체비쇼프 |
1/a^ |
2.78\times10^ |
| 분산(한쪽) |
칸텔리 |
1/a^ |
2.70\times10^ |
| M(t) |
체르노프 |
e^ |
4.26\times10^ |
**참값은 5.58×10−10**이므로 체르노프는 7.6배 안이고 칸텔리는 107배 느슨합니다.
그리고 셋 다 마르코프 부등식 하나에서 나옵니다.
| 부등식 |
무엇에 마르코프를 적용하는가 |
| 마르코프 |
X |
| 체비쇼프 |
(X-\mu)^ |
| 체르노프 |
e^ |
확률론에서 가장 단순한 부등식 하나가 집중 현상 이론 전체를 떠받칩니다.
첫째, 대수적으로 같은 식이 수치적으로 다릅니다. 133강 문제 1에서 분산의 계산식이 평균 108에서 **정확히 0**을 냈습니다. 상대오차 100%이며, 92강의 파국적 상쇄입니다.
둘째, 독립 확인 없이 분산을 더하면 안 됩니다. 133강 문제 3에서 X+(−X)=0이라 분산이 0인데 각 분산의 합은 5.833333입니다. 차이 전부가 공분산 항입니다.
셋째, 적률이 다 있어도 분포가 정해지지 않을 수 있습니다. 134강 문제 4의 로그정규분포는 모든 적률이 유한한데 M(t)가 t>0에서 발산하며, 같은 적률의 다른 분포가 실제로 존재합니다.
- 이 단원은 132,133,134,135강 순서로 읽어야 합니다.
- 01단원과 02단원(121~131강) 전체가 전제입니다.
- 127강 문제 3의 "기댓값은 더해지고 분산은 독립일 때만"이 132강과 133강의 주제입니다.
- 128강 문제 3과 130강 문제 4의 합성곱이 134강에서 곱셈이 됩니다.
- 54강의 지수급수가 134강 적률생성함수의 뼈대입니다.
- 58강의 푸리에 변환이 134강의 구조적 원형입니다.
- 63강의 내적공간이 133강 문제 2의 기하적 해석입니다.
- 92강의 파국적 상쇄가 133강 문제 1에서 재현됩니다.
- 107강의 볼록 켤레함수가 135강 체르노프의 지수에 나타납니다.
- 108강의 볼록성이 132강 심화 1의 젠센 부등식입니다.
- 기댓값
- 분산과 표준편차
- 적률과 적률생성함수
- 마르코프 부등식과 체비쇼프 부등식
-
- 기댓값
기댓값을 무게중심으로 정의하고 LOTUS로 g(X)의 기댓값을 계산합니다. 선형성이 독립을 요구하지 않음을 보이고 지시함수 분해로 어려운 문제들을 풀며, 기댓값이 존재하지 않는 경우와 손실이 예측 대상을 정한다는 사실을 다룹니다.
-
- 분산과 표준편차
분산의 두 공식과 그 수치적 차이를 확인합니다. 제곱을 고르는 세 이유를 밝히고, 변환 규칙과 합의 분산을 세우며, 표본평균의 제곱근 법칙과 전체 분산 법칙을 다룹니다.
-
- 적률과 적률생성함수
차수를 올려 왜도와 첨도를 얻고, 모든 적률을 한 함수에 담습니다. 독립 합이 곱이 됨을 보여 02단원의 가법성을 한 줄로 증명하고, 적률생성함수가 없을 수 있음과 누율의 가법성을 다룹니다.
-
- 마르코프 부등식과 체비쇼프 부등식
평균만으로 꼬리를 제한하고 분산으로 날카롭게 합니다. 등호 분포로 부등식이 최선임을 보이고, 체르노프로 지수적 상한을 얻으며, 체비쇼프로 약한 큰 수의 법칙을 증명합니다.
- 기댓값을 가장 그럴듯한 값이라 생각하고 있지 않은가?
- E[g(X)]를 구하려고 g(X)의 분포를 구하고 있지 않은가?
- 선형성에 독립이 필요하다고 착각하지 않았는가?
- 세는 문제를 지시함수의 합으로 바꿔 보았는가?
- 기댓값이 존재하는지 확인했는가?
- 분산의 계산식을 큰 평균에 쓰고 있지 않은가?
- 독립 확인 없이 분산을 더하고 있지 않은가?
- 표준편차와 표준오차를 혼동하고 있지 않은가?
- 적률이 분포를 정한다고 가정하고 있지 않은가?
- 적률이 더해진다고 생각하고 있지 않은가, 누율이 더해집니다
- 마르코프를 음수를 갖는 변수에 쓰고 있지 않은가?
- "3σ에 99.7%"를 정규분포가 아닌 곳에 쓰고 있지 않은가?
- 기댓값을 이산과 연속에서 계산하고 무게중심으로 해석할 수 있습니다.
- LOTUS로 변환된 확률변수의 기댓값을 구할 수 있습니다.
- 지시함수 분해로 세는 문제의 기댓값을 즉시 구할 수 있습니다.
- 기댓값과 분산의 존재 조건을 판정할 수 있습니다.
- 손실함수의 선택이 예측 대상을 정함을 설명할 수 있습니다.
- 분산을 수치적으로 안전하게 계산할 수 있습니다.
- 제곱을 쓰는 이유를 미분가능성과 가법성으로 설명할 수 있습니다.
- 합의 분산에서 공분산 항의 역할을 말할 수 있습니다.
- 표본평균의 제곱근 법칙으로 표본 크기를 설계할 수 있습니다.
- 전체 분산 법칙으로 집단 내와 집단 간을 나눌 수 있습니다.
- 왜도와 첨도를 계산하고 해석할 수 있습니다.
- 적률생성함수로 독립 합의 분포를 판정할 수 있습니다.
- 누율의 가법성을 쓸 수 있습니다.
- 세 부등식을 유도하고 상황에 맞게 고를 수 있습니다.
- 체비쇼프로 약한 큰 수의 법칙을 증명하고 표본 크기를 계산할 수 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 기댓값의 선형성 |
136강 결합분포, 어디에나 |
| 전체 기댓값 법칙 |
137강 조건부기댓값, 274강 벨만 방정식 |
| 손실과 예측 대상 |
205강 회귀, 209강 평가지표 |
| 제곱근 법칙 |
144강 표본분포, 151강 신뢰구간 |
| 전체 분산 법칙 |
210강 편향-분산 분해 |
| 적률생성함수 |
141강 합의 분포, 145강 표본분포 |
| 특성함수 |
143강 중심극한정리 |
| 체비쇼프 |
142강 큰 수의 법칙 |
| 체르노프 |
146강 호에프딩, 학습이론 |
| 대조변수 |
286강 정책경사의 기준선 |
아홉째 줄이 통계적 학습이론의 출발점입니다. 호에프딩과 부울 부등식을 결합하면 일반화 오차의 상한이 나오며, 가설공간의 크기가 벌점으로 들어갑니다.
136강부터 시작하는 04단원 여러 변수의 확률은 차원을 올립니다.
지금까지 확률변수가 하나였습니다. 둘 이상이 되면 관계라는 새로운 대상이 나타납니다.
| 강의 |
하는 일 |
| 136 |
결합분포와 주변분포 |
| 137 |
조건부분포와 조건부기댓값 |
| 138 |
공분산과 상관계수 |
| 139 |
확률변수의 변환 |
| 140 |
다변량 정규분포 |
| 141 |
독립인 확률변수 합의 분포 |
133강 문제 3에서 공분산을 미리 쓴 것이 138강에서 정식화되고, 132강 심화 3의 조건부기댓값이 137강의 주제가 됩니다.
그리고 S4와 S5의 도구가 본격적으로 돌아옵니다. 105강의 변수변환이 139강의 야코비 행렬식이 되고, 86강의 스펙트럼 정리와 87강의 이차형식이 140강 다변량 정규분포의 뼈대가 되며, 89강의 주성분분석이 공분산행렬의 고유값 분해로 다시 나타납니다.