이 단원은 142강부터 147강까지를 맡습니다. 개수를 늘리면 무엇이 일어나는지 봅니다.
04단원에서 변수를 둘로 늘렸습니다. 이 단원은 독립인 변수를 n개로 늘리고 n→∞를 봅니다.
Xˉn=nX1+⋯+Xn
이 하나의 양이 통계학 전체의 출발점입니다. 여론조사의 지지율, 임상시험의 효과, 모델의 검증 정확도, 몬테카를로 적분값이 전부 표본평균이며, 이 단원이 그 값을 얼마나 믿을 수 있는지 답합니다.
| 질문 |
답하는 강의 |
| 표본평균이 참값으로 가는가 |
142 |
| 그 오차는 어떤 모양인가 |
143, 144, 145 |
| 유한한 n에서 무엇을 보장할 수 있는가 |
146 |
| 이 도구로 무엇을 계산할 수 있는가 |
147 |
둘째 줄이 이 단원의 몸통입니다. 그리고 그 안에서 답이 두 갈래로 갈립니다.
| 접근 |
강의 |
성격 |
| 극한을 봅니다 |
143 |
어떤 분포에서나 성립하지만 근사입니다 |
| 정확한 분포를 구합니다 |
144, 145 |
정규 표본에서만 성립하지만 정확합니다 |
이 두 갈래가 통계학의 두 전통입니다. 표본이 크면 중심극한정리에 기대고, 작으면 정규성을 가정하고 정확한 분포를 씁니다.
이 단원 전체를 지배하는 하나의 수가 있습니다.
표준오차=nσ
| 강의 |
n이 나타나는 자리 |
| 142 |
표본평균의 차이가 표준오차 정도입니다 |
| 143 |
n을 곱해야 극한이 흩어지지 않습니다 |
| 144 |
S2의 상대오차도 1/n입니다 |
| 145 |
t 분위수가 자유도에 따라 1.96으로 내려옵니다 |
| 146 |
호에프딩의 오차도 (b−a)ln(2/δ)/(2n)입니다 |
| 147 |
몬테카를로 오차가 차원과 무관하게 1/n입니다 |
정확도를 한 자리 올리려면 표본을 100배 늘려야 합니다. 이것이 통계가 비싼 이유이고, 동시에 147강에서 몬테카를로가 고차원 적분을 이기는 이유이기도 합니다.
142강 문제 2에서 던진 질문 하나가 이 단원 내내 다시 나옵니다. 주사위 평균을 오차 0.1, 실패 확률 5%로 알려면 몇 번 던져야 합니까.
| 방법 |
필요한 n |
쓰는 정보 |
성립 범위 |
| 정규근사(143강) |
1121 |
분산, 큰 n 가정 |
근사입니다 |
| 호에프딩(146강) |
4612 |
값의 범위 |
모든 n |
| 체비쇼프(142강) |
5834 |
분산 |
모든 n |
호에프딩이 분산조차 쓰지 않고 체비쇼프를 이깁니다. 그리고 정규근사보다 네 배를 더 요구하는 것이 "어떤 n에서나 반드시 옳다"의 값입니다.
**n=5834에서 체비쇼프 상한이 0.0500인데 실제 확률은 0.0000077**입니다. 상한이 참값의 6463배이며, 느슨함이 결함이 아니라 정보를 적게 쓴 대가입니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원도 새 수학을 거의 만들지 않습니다.
| 이 단원의 것 |
정체 |
어디서 배웠는가 |
| 확률 수렴의 증명 |
체비쇼프 부등식 |
135강 |
| 중심극한정리의 증명 |
적률생성함수의 누율 전개 |
134강 |
| 특성함수 |
푸리에 변환 |
58~61강 |
| 표본분산의 자유도 |
정사영과 직교분해 |
80강, 82강 |
| 카이제곱의 밀도 |
감마분포 |
131강 |
| 코크런 정리 |
이차형식과 계수 |
87강, 88강 |
| 호에프딩의 지수 상한 |
체르노프 방법 |
135강 |
| 합집합 상한 |
부울 부등식 |
122강 |
| 델타 방법 |
테일러 전개 |
33강, 95강 |
| 몬테카를로 |
큰 수의 법칙 |
142강 |
| 기각법 |
변수변환 |
139강 |
넷째 줄이 이 단원에서 가장 아름답습니다. Rn을 1이 만드는 1차원과 그 직교여공간 n−1차원으로 쪼개면, 앞쪽이 Xˉ이고 뒤쪽이 (n−1)S2이며 직교하므로 독립입니다. 자유도가 무엇인지가 이 한 줄로 정해집니다.
같은 정규분포가 서로 다른 자격으로 세 번 등장합니다.
| 자격 |
강의 |
뜻 |
| 극한 |
143 |
무엇을 더하든 표준화하면 정규가 됩니다 |
| 가정 |
144, 145 |
자료가 정규이면 정확한 분포를 얻습니다 |
| 상한의 모양 |
146 |
유계이면 정규와 같은 꼬리를 보장받습니다 |
둘째 줄이 가장 취약합니다. 145강 문제 5에서 확인했듯 F검정은 t(3) 자료에서 명목 5%가 실제 32%가 되며, n을 키울수록 더 나빠집니다.
첫째 줄이 둘째 줄을 구해 줍니다. t검정이 비정규에서도 견디는 것은 분자가 중심극한정리로 정규에 가까워지기 때문이며, 분산을 재는 검정에는 그런 보호막이 없습니다.
첫째, 수렴은 단조가 아닙니다. 142강 문제 1에서 n=10의 오차가 우연히 0.000000이었고 n=100에서 0.280000으로 커졌습니다. 줄어드는 것은 오차가 아니라 오차가 클 확률입니다.
둘째, "n≥30이면 정규"는 위험합니다. 143강 문제 4에서 베르누이 p=0.01의 n=30 최대 거리가 0.44870592였습니다. 치우친 분포에서는 n이 1000이어야 합니다.
셋째, 분산 추정은 평균 추정보다 훨씬 예민합니다. 144강 문제 5에서 정규를 가정하면 초과첨도 6인 자료의 Var(S2)을 3.85배 과소평가합니다. Xˉ는 2차 적률이면 되지만 S2은 4차 적률을 요구합니다.
넷째, 상한을 실제 확률로 읽으면 안 됩니다. 146강 문제 3에서 호에프딩 상한이 참값의 9×1033배였습니다. 상한은 보장이지 예측이 아닙니다.
다섯째, 조용한 실패가 가장 위험합니다. 147강 문제 5에서 중요도 표집의 추정값이 그럴듯해 보이는데 유효 표본 크기가 106에서 8000으로 무너져 있었습니다. 진단 없이 믿지 않습니다.
- 이 단원은 142,143,144,145,146,147강 순서로 읽어야 합니다.
- 01단원부터 04단원까지(121~141강) 전체가 전제입니다.
- 135강의 세 부등식이 142강과 146강의 뼈대입니다.
- 134강의 적률생성함수와 누율이 143강 증명의 도구입니다.
- 58~61강의 푸리에 변환이 143강 특성함수의 정체입니다.
- 141강의 합성곱과 재생성이 143강 문제 1의 계산 도구입니다.
- 80강의 정사영과 82강의 최소제곱이 144강 문제 4의 기하입니다.
- 131강의 감마분포가 145강 카이제곱의 정체입니다.
- 139강의 변수변환이 147강 문제 4의 표집 방법입니다.
- 132강 문제 5의 코시분포가 142강과 143강과 145강에 세 번 나옵니다.
- 큰 수의 법칙
- 특성함수와 중심극한정리
- 표본평균과 표본분산의 분포
- 카이제곱분포, t분포, F분포
- 호에프딩 부등식과 집중 현상
- 몬테카를로 추정
-
- 큰 수의 법칙
표본평균이 참값으로 감을 확인하고 확률 수렴과 거의 확실한 수렴을 나눕니다. 체비쇼프로 약한 법칙을 증명하고 필요한 표본 크기를 계산하며, 평균이 없는 코시에서 법칙이 깨짐을 보이고 상대도수와 경험분포함수의 수렴을 다룹니다.
-
- 특성함수와 중심극한정리
표준화한 합이 원래 분포와 무관하게 표준정규로 감을 확인합니다. 누율 전개로 왜 하필 정규인지 밝히고, 적률생성함수가 없어도 쓸 수 있는 특성함수를 세우며, 베리-에센으로 필요한 n을 판정하고 델타 방법으로 함수까지 넓힙니다.
-
- 표본평균과 표본분산의 분포
표본분산을 n−1로 나누는 근거를 세우고 그 분포가 카이제곱임을 확인합니다. 표본평균과 표본분산이 정규에서만 독립임을 보이고, 직교변환으로 자유도의 정체를 밝히며, 정규가 아닐 때 분산 추정이 얼마나 불안정해지는지 계산합니다.
-
- 카이제곱분포, t분포, F분포
정규 하나에서 나온 세 분포를 조립합니다. σ를 S로 바꾸면 t가 되는 이유와 자유도가 꼬리를 정하는 방식을 밝히고, 두 분산의 비가 F임을 세우며, 정규성이 깨졌을 때 각 검정이 얼마나 견디는지 판정합니다.
-
- 호에프딩 부등식과 집중 현상
유계라는 조건만으로 지수적 상한을 얻습니다. 체르노프 방법으로 그 지수가 나오는 과정을 밝히고, 분산을 아는 경우의 베른슈타인을 견주며, 합집합 상한으로 여러 대상을 동시에 보장하고 유계가 아닐 때의 대안을 다룹니다.
-
- 몬테카를로 추정
적분을 표본평균으로 바꿔 차원의 저주를 피합니다. 추정값에 신뢰구간과 유한 표본 보장을 붙이고, 중요도 표집과 대조변수로 분산을 줄이며, 표집 방법을 설계하고 유효 표본 크기로 결과를 진단합니다.
- 표본평균의 오차가 매번 줄어든다고 생각하고 있지 않은가?
- 확률 수렴과 거의 확실한 수렴을 구분했는가?
- 큰 수의 법칙에 분산이 필요하다고 착각하지 않았는가?
- 꼬리가 두꺼운 자료에 평균을 쓰고 있지 않은가?
- Zn이 어떤 수로 수렴한다고 읽고 있지 않은가?
- 자료 자체가 정규가 된다고 생각하고 있지 않은가?
- "n≥30이면 된다"를 치우친 분포에 쓰고 있지 않은가?
- 표본분산을 n으로 나누고 있지 않은가?
- 자유도를 n이라 쓰고 있지 않은가?
- Xˉ와 S2의 독립을 정규가 아닌 곳에서 쓰고 있지 않은가?
- σ를 모르는데 정규 분위수를 쓰고 있지 않은가?
- 분산 검정에 정규 가정이 얼마나 위험한지 확인했는가?
- 상한을 실제 확률로 읽고 있지 않은가?
- 희귀 사건에 호에프딩을 쓰고 있지 않은가?
- 모델을 여러 개 비교하며 하나짜리 보장을 쓰고 있지 않은가?
- 낮은 차원에서 몬테카를로를 쓰고 있지 않은가?
- 추정값만 내놓고 표준오차를 빠뜨리지 않았는가?
- 유효 표본 크기를 확인했는가?
- 표본평균의 수렴을 수치로 확인하고 그 속도를 읽을 수 있습니다.
- 확률 수렴과 거의 확실한 수렴을 구별하고 각각을 진술할 수 있습니다.
- 체비쇼프로 약한 큰 수의 법칙을 증명할 수 있습니다.
- 큰 수의 법칙이 깨지는 경우를 판정할 수 있습니다.
- 상대도수와 경험분포함수의 수렴을 설명할 수 있습니다.
- 중심극한정리를 진술하고 가정을 확인할 수 있습니다.
- 누율 전개로 왜 정규인지 설명할 수 있습니다.
- 특성함수를 정의하고 적률생성함수와 구별할 수 있습니다.
- 베리-에센으로 정규근사의 타당성을 판정할 수 있습니다.
- 델타 방법으로 표본평균의 함수에 정규근사를 쓸 수 있습니다.
- 표본분산의 불편성과 자유도를 설명할 수 있습니다.
- (n−1)S2/σ2이 카이제곱임을 쓸 수 있습니다.
- 직교분해로 자유도를 기하적으로 설명할 수 있습니다.
- 카이제곱, t, F의 정의와 상호 관계를 쓸 수 있습니다.
- t 분위수로 신뢰구간을 만들 수 있습니다.
- 정규성이 깨졌을 때 각 검정의 견고성을 판정할 수 있습니다.
- 호에프딩으로 필요한 표본 크기를 계산할 수 있습니다.
- 베른슈타인과 호에프딩을 상황에 맞게 고를 수 있습니다.
- 합집합 상한으로 다중 비교를 보정할 수 있습니다.
- 몬테카를로로 고차원 적분을 계산하고 오차를 붙일 수 있습니다.
- 중요도 표집과 대조변수로 분산을 줄일 수 있습니다.
- 유효 표본 크기로 추정을 진단할 수 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 큰 수의 법칙 |
147강, 235강 미니배치, 274강 강화학습 |
| 중심극한정리 |
151강 신뢰구간, 243강 초기화, 261강 확산모형 |
| 델타 방법 |
151강, 209강 평가지표의 구간 |
| 표본분산과 자유도 |
153강 회귀, 244강 배치 정규화 |
| t분포 |
151강, 152강, 205강 로버스트 회귀 |
| 카이제곱 |
152강 우도비 검정, 167강 범주형 |
| F분포 |
152강 분산분석, 153강 회귀의 전체 검정 |
| 호에프딩 |
209강 오차 막대, 278강 밴딧 UCB |
| 합집합 상한 |
212강 교차검증, 214강 일반화 |
| 집중 현상 |
213강 차원의 저주, 224강 무작위 사영 |
| 몬테카를로 |
157강 MCMC, 262강 변분추론, 286강 정책경사 |
| 중요도 표집 |
288강 오프폴리시 학습 |
여덟째와 아홉째 줄이 통계적 학습이론의 두 기둥입니다. 호에프딩이 하나의 가설에 대한 보장을 주고, 합집합 상한이 그것을 가설공간 전체로 넓히며, 그 결과 가설공간의 크기가 벌점으로 들어갑니다.
마지막 줄이 오프폴리시 학습의 전부입니다. 다른 정책으로 모은 자료로 새 정책의 가치를 평가하려면 중요도 가중치를 곱해야 하는데, 147강 문제 5의 유효 표본 크기 붕괴가 그대로 재현됩니다. 두 정책이 조금만 달라도 가중치가 폭발합니다.
148강부터 시작하는 06단원 추론은 방향을 뒤집습니다.
이 단원까지는 모수를 안다고 가정하고 표본이 어떻게 흩어지는지 물었습니다. 다음 단원은 표본을 보고 모수를 맞힙니다.
| 강의 |
하는 일 |
| 148 |
점추정과 좋은 추정량의 조건 |
| 149 |
최대우도추정 |
| 150 |
사전분포와 최대사후추정 |
| 151 |
신뢰구간 |
| 152 |
가설검정 |
| 153 |
선형회귀의 통계적 해석 |
149강에서 통계가 최적화가 됩니다. 우도를 최대로 만드는 모수를 찾는 문제이며, 107~112강의 도구가 그대로 쓰입니다.
150강에서 125강의 베이즈 정리가 돌아옵니다. 사전분포를 놓고 사후분포를 최대로 만들면 정규화된 최적화가 되며, 116강의 정규화가 사전분포로 읽힙니다.
151강과 152강은 이 단원의 결과를 그대로 씁니다. t분포로 평균의 구간을, 카이제곱으로 분산의 구간을, F로 분산분석을 하며, 145강 문제 5에서 확인한 견고성의 한계가 그대로 따라옵니다.