141강에서 독립인 확률변수의 합 의 분포를 구했습니다. 이제 을 무한히 키웁니다.
이 하나의 양이 통계학 전체의 출발점입니다. 모평균을 모를 때 우리가 하는 일은 표본을 뽑아 평균을 내는 것이고, 그것이 옳다는 보장이 바로 이 강의의 주제입니다.
보장이 없으면 통계는 성립하지 않습니다. 여론조사의 지지율, 임상시험의 효과, 모델의 검증 정확도, 몬테카를로 적분값이 전부 표본평균이며, 표본평균이 참값으로 간다는 사실이 없으면 이 숫자들은 아무 뜻이 없습니다.
그런데 이 화살표가 무슨 뜻인지가 문제입니다. 확률변수의 수열이므로 매번 값이 다르고, 미적분학에서 배운 수열의 극한을 그대로 쓸 수 없습니다. 이 강의는 화살표를 두 가지 방식으로 정확히 정의하고, 각각이 무엇을 보장하는지 나눕니다.
문제. 공정한 주사위를 만 번 던집니다.
(1) 부터 까지 표본평균과 참값의 차이를 보세요.
(2) 차이가 매번 줄어드는지 판정하세요.
(3) 차이의 크기를 무엇으로 예측할 수 있는지 쓰세요.
생각의 실마리. 133강에서 표본평균의 분산이 이었습니다. **표준편차는 **이므로 차이의 크기를 미리 짐작할 수 있습니다.
풀이. (1) 검산 결과입니다.
| 표본평균 | 참값과의 차이 | 이론 표준오차 | |
|---|---|---|---|
| 10^ | |||
| 10^ | |||
| 10^ |
(2) 줄어들지 않습니다. 에서 차이가 정확히 인데 에서 으로 커졌고, 의 에서 의 으로 다시 커졌습니다.
의 은 운입니다. 주사위 열 개의 합이 마침 였을 뿐이며, 이론 표준오차 에 견주면 이 정도 우연은 흔합니다. 표본 하나로 정확도를 판단하면 안 된다는 것을 이 줄이 보여 줍니다.
(3) 마지막 열이 예측입니다. 차이는 대체로 표준오차 정도이며, 어느 줄에서도 표준오차의 두 배를 넘지 않았습니다.
이 배가 되면 차이는 배 줄어듭니다. 표에서 의 과 의 이 정확히 배 차이입니다.
이 문제에서 배우는 것: 표본평균의 수렴은 단조가 아닙니다.
표본평균의 두 요약. 가 독립이고 같은 분포이며 평균 , 분산 이면
앞쪽에는 독립이 필요 없고 뒤쪽에는 필요합니다. 132강의 선형성과 133강의 가법성이 그대로 쓰인 것이며, 이 비대칭은 03단원 내내 반복해서 나타났습니다.
이 이 강의 전체를 지배합니다. 정확도를 한 자리 올리려면 표본을 배 늘려야 하며, 이것이 통계의 값이 비싼 이유입니다.
단조 수렴이 아닙니다. 은 확률변수이므로 이 커진다고 차이가 반드시 줄지 않습니다. 줄어드는 것은 차이 자체가 아니라 차이가 클 확률입니다.
이 구분이 문제 3의 주제이며, "확률이 줄어든다"를 정확히 쓰는 것이 큰 수의 법칙의 진술입니다.
바로 확인 1.
확인 1-1. 표본평균의 평균과 분산을 쓰세요.
답. 와 입니다.
확인 1-2. 표준오차를 배 줄이려면 표본을 몇 배로 늘려야 하는지 쓰세요.
답. 배입니다.
확인 1-3. 차이가 매번 줄어드는지 쓰세요.
답. 아니며 줄어드는 것은 차이가 클 확률입니다.
문제. 주사위의 평균을 오차 안에서, 실패 확률 이하로 알고 싶습니다.
(1) 체비쇼프 부등식으로 필요한 을 구하세요.
(2) 그 에서 실제 실패 확률을 구해 상한과 비교하세요.
(3) 정규근사로 필요한 을 구하고 차이를 설명하세요.
생각의 실마리. 135강의 체비쇼프 부등식을 에 적용합니다. 분산이 이므로 이 식 안으로 들어옵니다.
풀이. (1) 체비쇼프를 에 씁니다.
이 값을 이하로 만들면 됩니다.
주사위는 이고 , 이므로 ****입니다.
(2)(3) 검산 결과입니다.
| 체비쇼프 상한 | 정규근사 참값 | 비율 | |
|---|---|---|---|
**정규근사가 요구하는 표본은 **이며 를 씁니다.
체비쇼프는 배 보수적입니다. 그리고 에서는 상한 가 참값 의 배입니다.
이 문제에서 배우는 것: 약한 큰 수의 법칙.
약한 큰 수의 법칙. 가 독립이고 같은 분포이며 이면 모든 에 대해
증명이 한 줄입니다. 위 상한이 이고 에서 이 됩니다. 135강 문제 5에서 이미 한 계산이며, 여기서는 그것에 이름을 붙였을 뿐입니다.
확률 수렴. 위 성질을 로 쓰고 확률 수렴이라 부릅니다.
"어긋날 확률이 으로 간다"이지 "어긋나지 않는다"가 아닙니다. 이 아무리 커도 이 에서 멀 가능성은 남아 있으며, 다만 그 확률이 작아집니다.
체비쇼프가 보수적인 이유는 분산만 쓰기 때문입니다. 분포의 모양을 하나도 쓰지 않고 어떤 분포에서나 성립하는 값을 내므로, 정규분포에 가까운 실제 상황에서는 크게 느슨해집니다.
보수적인 것이 결함은 아닙니다. 정규근사는 이 충분히 클 때만 옳지만, 체비쇼프는 모든 에서 반드시 옳습니다. 안전이 중요하면 체비쇼프를, 비용이 중요하면 정규근사를 씁니다.
146강의 호에프딩 부등식이 이 둘 사이를 메웁니다. 유계인 변수에서는 어떤 에서나 성립하면서 지수적으로 줄어드는 상한을 줍니다.
바로 확인 2.
확인 2-1. 체비쇼프가 주는 표본 크기 공식을 쓰세요.
답. 입니다.
확인 2-2. 체비쇼프가 느슨한 이유를 쓰세요.
답. 분산만 쓰고 분포의 모양을 쓰지 않기 때문입니다.
확인 2-3. 확률 수렴의 뜻을 쓰세요.
답. 어긋날 확률이 으로 가는 것이며 어긋나지 않는다는 뜻이 아닙니다.
문제. 같은 실험을 번 독립으로 돌립니다.
(1) 각 에서 인 경로의 비율을 구하세요.
(2) 인 어떤 에서라도 넘는 경로의 비율을 구하세요.
(3) 두 값의 대소를 판정하고 그 뜻을 쓰세요.
생각의 실마리. (1)은 한 시점의 단면을 묻고 (2)는 꼬리 전체를 묻습니다. 뒤쪽이 더 강한 요구입니다.
풀이. (1)(2) 검산 결과입니다.
(3) 오른쪽이 언제나 왼쪽 이상입니다. 에서 넘음어떤 에서 넘음이므로 단조성으로 당연합니다.
마지막 줄에서 둘이 같아진 것은 관측 구간이 에서 끝났기 때문입니다. 실제로는 도 세어야 하므로 오른쪽이 조금 더 커야 하며, 이 표의 오른쪽 열은 참값의 하한입니다.
두 열 모두 으로 갑니다. 그러나 의미가 다릅니다.
이 문제에서 배우는 것: 두 종류의 수렴.
강한 큰 수의 법칙. 가 독립이고 같은 분포이며 이면
극한 기호가 확률 안으로 들어갔습니다. 약한 법칙은 각 마다 확률을 재고 그 수열의 극한을 보지만, 강한 법칙은 경로 하나하나가 수렴하는지를 묻고 그런 경로의 확률이 이라고 말합니다.
| 구분 | 약한 법칙 | 강한 법칙 |
|---|---|---|
| 이름 | 확률 수렴 | 거의 확실한 수렴 |
| 기호 | ||
| 묻는 것 | 한 시점의 확률 | 꼬리 전체의 확률 |
| 필요한 가정 | 이면 충분 | |
| 표의 열 | 왼쪽 | 오른쪽 |
넷째 줄이 뜻밖입니다. 강한 법칙이 더 센 결론인데 가정은 오히려 약합니다. 체비쇼프로 증명하는 약한 법칙은 분산을 요구하지만, 킨친의 강한 법칙은 평균만 있으면 됩니다.
강한 것이 약한 것을 함의합니다. 거의 확실한 수렴이면 확률 수렴이며, 역은 성립하지 않습니다.
역이 성립하지 않는 예가 유명합니다. 구간 을 점점 짧은 조각으로 훑는 지시함수 수열은 확률 수렴하지만 어느 점에서도 수렴하지 않습니다. 각 시점의 확률은 작아지는데 넘는 일 자체는 끝없이 다시 일어납니다.
실무에서 필요한 것은 대개 강한 쪽입니다. 모의실험을 한 번 길게 돌려 그 궤적이 참값에 자리 잡기를 기대하는 것은 경로 하나의 수렴을 믿는 것이며, 그것이 강한 법칙입니다.
바로 확인 3.
확인 3-1. 두 법칙의 이름을 쓰세요.
답. 확률 수렴과 거의 확실한 수렴입니다.
확인 3-2. 어느 쪽 확률이 더 큰지 쓰세요.
답. 꼬리 전체를 묻는 강한 쪽입니다.
확인 3-3. 강한 법칙에 필요한 가정을 쓰세요.
답. 만 있으면 됩니다.
문제. 큰 수의 법칙의 가정을 하나씩 깨 봅니다.
(1) 코시분포에서 표본평균이 수렴하는지 판정하세요.
(2) 같은 표본에서 표본중앙값은 어떻게 되는지 보세요.
(3) 평균은 있고 분산만 없는 경우를 판정하세요.
생각의 실마리. 132강 문제 5에서 코시분포는 평균이 존재하지 않는다고 했습니다. 가정이 깨지면 결론도 깨지는지 확인합니다.
풀이. (1)(2) 검산 결과입니다.
| 코시 표본평균 | 코시 표본중앙값 | |
|---|---|---|
| 10^ | ||
| 10^ | ||
| 10^ |
왼쪽은 어디로도 가지 않습니다. 을 만에서 만으로 늘렸는데 에서 로 크게 뛰었습니다. 표본을 배 늘린 것이 도움이 되지 않았습니다.
오른쪽은 으로 갑니다. 중앙값은 에서 로 줄었으며, 표준적인 속도입니다.
(3) 파레토분포 는 평균이 이고 분산이 무한입니다.
| 파레토 표본평균 | 참값 과의 차이 | |
|---|---|---|
| 10^ | ||
| 10^ | ||
| 10^ |
갑니다. 다만 느립니다. 차이가 단조로 줄지 않고 에서 오히려 커졌으며, 에서야 입니다. 같은 에서 주사위는 였으니 열 배 이상 나쁩니다.
이 문제에서 배우는 것: 가정의 자리.
큰 수의 법칙이 요구하는 것은 평균의 존재뿐입니다. 분산은 증명을 쉽게 할 뿐 필수가 아닙니다.
| 분포 | \sigma^ | 큰 수의 법칙 | 속도 | |
|---|---|---|---|---|
| 주사위 | 유한 | 유한 | 성립 | 1/\sqrt |
| 정규 | 유한 | 유한 | 성립 | 1/\sqrt |
| 파레토 | 유한 | 무한 | 성립 | 보다 느립니다 |
| 코시 | 무한 | 무한 | 성립하지 않습니다 | 없습니다 |
코시가 성립하지 않는 이유가 구조적입니다. 141강에서 본 재생성이 여기서 작동합니다.
표본평균의 분포가 과 무관하게 똑같습니다. 한 개를 뽑든 백만 개를 뽑든 정확히 같은 분포이므로 평균을 내는 일이 아무 정보도 더하지 못합니다. 표의 왼쪽 열이 어지러운 것이 우연이 아닙니다.
중앙값은 살아남습니다. 중앙값은 극단값에 둔감하므로 꼬리가 두꺼워도 수렴합니다. 꼬리가 두꺼운 자료에서 평균 대신 중앙값을 쓰는 근거입니다.
165강 분위수와 상자그림, 177강 관측 데이터의 함정에서 이 선택이 다시 나옵니다. 소득, 도시 인구, 웹 트래픽, 손실액처럼 꼬리가 두꺼운 자료에서는 평균이 표본에 따라 크게 흔들립니다.
바로 확인 4.
확인 4-1. 큰 수의 법칙에 필요한 최소 가정을 쓰세요.
답. 평균이 존재하는 것, 즉 입니다.
확인 4-2. 코시에서 표본평균의 분포를 쓰세요.
답. 과 무관하게 같은 코시분포입니다.
확인 4-3. 꼬리가 두꺼운 자료에서 무엇을 쓰는지 쓰세요.
답. 중앙값 같은 분위수를 씁니다.
문제. 표준정규분포에서 개를 뽑습니다.
(1) 을 상대도수로 추정하세요.
(2) 분포함수 전체를 한꺼번에 재세요.
(3) 최대 거리가 줄어드는 속도를 읽으세요.
생각의 실마리. 확률은 지시함수의 기댓값입니다. 그러면 상대도수는 지시함수의 표본평균이므로 큰 수의 법칙이 그대로 적용됩니다.
풀이. (1) 검산 결과입니다.
| 상대도수 추정 | 참값 | 차이 | |
|---|---|---|---|
| 10^ | |||
| 10^ | |||
| 10^ |
여기서도 단조가 아닙니다. 의 가 의 보다 작습니다.
(2)(3) 격자 개에서 경험분포함수와 참값의 최대 거리를 잽니다.
| 최대 거리 | 1/\sqrt | 최대 거리 \times\sqrt | |
|---|---|---|---|
| 10^ | |||
| 10^ | |||
| 10^ |
마지막 열이 에서 사이에 머뭅니다. 최대 거리 자체는 으로 가는데 을 곱하면 흩어지지 않습니다. 줄어드는 속도가 정확히 이라는 뜻입니다.
이 문제에서 배우는 것: 확률도 분포도 세어서 얻습니다.
상대도수의 수렴. 사건 가 번 중 번 일어나면
121강에서 확률을 공리로 정의할 때 미뤄 둔 것이 여기서 갚아집니다. 확률을 "많이 하면 나오는 비율"로 정의하면 순환논법이 되므로 공리로 세웠는데, 공리에서 출발해도 그 비율이 실제로 확률로 감을 증명할 수 있습니다.
글리벤코-칸텔리 정리. 경험분포함수 과 참 분포함수 에 대해
각 점에서가 아니라 모든 점에서 한꺼번에 갑니다. 점마다 큰 수의 법칙을 쓰면 각 에서 수렴하지만, 이 정리는 그것을 균등하게 만들어 줍니다.
이 균등성이 통계적 학습이론의 씨앗입니다. 훈련 오차가 참 오차로 가는 것을 한 모델이 아니라 가설공간 전체에서 한꺼번에 보장해야 학습이 정당화되며, 그것이 심화 4의 주제입니다.
마지막 열의 값 에서 이 우연이 아닙니다. 가 어떤 분포로 수렴하며, 그 정체는 143강의 중심극한정리 계열에서 다룹니다.
바로 확인 5.
확인 5-1. 확률을 기댓값으로 쓰는 방법을 쓰세요.
답. 입니다.
확인 5-2. 글리벤코-칸텔리 정리의 진술을 쓰세요.
답. 경험분포함수와 참 분포함수의 최대 거리가 거의 확실하게 으로 갑니다.
확인 5-3. 최대 거리가 줄어드는 속도를 쓰세요.
답. 입니다.
| 개념 | 식 |
|---|---|
| 표본평균 | |
| 평균과 분산 | , |
| 표준오차 | \sigma/\sqrt |
| 체비쇼프 상한 | |
| 표본 크기(체비쇼프) | |
| 표본 크기(정규근사) | n\ge(z\sigma/\varepsilon)^ |
| 약한 법칙 | |
| 강한 법칙 | |
| 상대도수 | |
| 글리벤코-칸텔리 |
| 구분 | 약한 법칙 | 강한 법칙 |
|---|---|---|
| 수렴의 종류 | 확률 수렴 | 거의 확실한 수렴 |
| 묻는 대상 | 한 시점의 확률 | 경로 전체 |
| 최소 가정 | ||
| 쉬운 증명 | 체비쇼프( 필요) | 보렐-칸텔리 |
| 함의 방향 | 강한 것이 약한 것을 함의합니다 | 역은 거짓입니다 |
| 분포 | 큰 수의 법칙 | 이유 |
|---|---|---|
| 유한 분산 | 성립 | 체비쇼프로 바로 |
| 평균만 유한 | 성립 | 킨친의 정리 |
| 코시 | 성립하지 않습니다 | 평균이 없습니다 |
| 종속 표본 | 조건부로 성립 | 에르고딕 정리 |
| 자주 하는 실수 | 바로잡기 |
|---|---|
| 차이가 매번 준다고 봅니다 | 확률이 줄지 차이가 줄지 않습니다 |
| 확률 수렴을 각 경로의 수렴으로 읽습니다 | 그것은 강한 법칙입니다 |
| 분산이 필요하다고 봅니다 | 평균만 있으면 됩니다 |
| 체비쇼프 상한을 실제 확률로 씁니다 | 상한은 수천 배 느슨할 수 있습니다 |
| 표본을 늘리면 코시도 된다고 봅니다 | 분포가 과 무관합니다 |
| 큰 수의 법칙이 오차의 분포를 준다고 봅니다 | 그것은 143강입니다 |
문제 6. 표본평균의 평균과 분산을 쓰세요.
답. 와 이며 분산에는 독립이 필요합니다.
문제 7. 표준오차를 쓰고 정확도를 한 자리 올리는 비용을 쓰세요.
답. 이며 표본을 배 늘려야 합니다.
문제 8. 표본평균의 차이가 에 대해 단조로 줄어드는지 쓰세요.
답. 아니며 줄어드는 것은 차이가 클 확률입니다.
문제 9. 체비쇼프로 얻는 표본 크기 공식을 쓰세요.
답. 입니다.
문제 10. 주사위에서 , 일 때 두 방법이 요구하는 을 쓰세요.
답. 체비쇼프가 , 정규근사가 입니다.
문제 11. 체비쇼프 상한이 느슨한 이유를 쓰세요.
답. 분산만 쓰고 분포의 모양을 전혀 쓰지 않기 때문입니다.
문제 12. 체비쇼프를 쓰는 것이 나은 상황을 쓰세요.
답. 모든 에서 반드시 옳아야 할 때입니다.
문제 13. 약한 큰 수의 법칙을 진술하세요.
답. 모든 에서 입니다.
문제 14. 강한 큰 수의 법칙을 진술하세요.
답. 입니다.
문제 15. 두 법칙의 함의 방향을 쓰세요.
답. 강한 것이 약한 것을 함의하며 역은 거짓입니다.
문제 16. 코시에서 큰 수의 법칙이 깨지는 이유를 쓰세요.
답. 평균이 존재하지 않으며 의 분포가 과 무관하게 같습니다.
문제 17. 평균은 있고 분산이 없으면 어떻게 되는지 쓰세요.
답. 성립하지만 수렴이 느려집니다.
문제 18. 글리벤코-칸텔리 정리와 그 속도를 쓰세요.
답. 이며 속도는 입니다.
심화 1. 강한 큰 수의 법칙은 어떻게 증명하는지 정리하세요.
약한 법칙은 체비쇼프 한 줄이지만 강한 법칙은 도구가 다릅니다.
보렐-칸텔리 보조정리. 사건 에 대해 이면
꼬리 사건을 직접 다루는 도구이며, 문제 3의 오른쪽 열이 바로 이 확률입니다.
로 두면 일 때 강한 법칙이 나옵니다. 그런데 체비쇼프가 주는 은 조화급수라 발산합니다. 18강에서 이 발산함을 보았으므로 이 길은 막힙니다.
| 방법 | 요구 | 얻는 것 |
|---|---|---|
| 4차 적률 | 가 수렴해 바로 됩니다 | |
| 부분열 + 단조 | 에서 먼저 보이고 사이를 메웁니다 | |
| 콜모고로프 | 독립, | 같은 분포가 아니어도 됩니다 |
| 에트마디 | 쌍별 독립, | 가장 약한 가정입니다 |
첫째 줄이 가장 쉽습니다. 4차 적률을 쓰면 가 되고 은 수렴하므로 보렐-칸텔리가 바로 적용됩니다.
둘째 줄이 표준적인 요령입니다. 을 따라가면 상한이 이 되어 수렴하고, 부분합이 단조인 성질로 사이 구간을 메웁니다.
넷째 줄이 놀랍습니다. 완전한 독립이 아니라 쌍별 독립만으로도 성립하며, 이는 124강에서 쌍별 독립과 완전 독립을 구분한 것이 실제로 의미 있는 구분임을 보여 줍니다.
심화 2. 독립이 아니면 어떻게 되는지 정리하세요.
실무의 자료는 독립이 아닌 경우가 훨씬 많습니다.
| 상황 | 성립하는가 | 무엇이 대신하는가 |
|---|---|---|
| 시계열 | 조건부로 성립 | 정상성과 에르고딕성 |
| 마르코프 연쇄 | 성립 | 에르고딕 정리, 154강 |
| MCMC 표본 | 성립 | 157강, 유효 표본 크기 |
| 군집 표본 | 성립 | 설계 효과로 보정 |
| 비정상 시계열 | 성립하지 않을 수 있습니다 | 차분과 분해 |
둘째 줄이 이 과목의 뒷부분과 직결됩니다. 마르코프 연쇄가 기약이고 재귀적이면 시간평균이 정상분포에 대한 공간평균으로 수렴하며, 이것이 MCMC가 작동하는 이유 전부입니다.
종속이 있을 때 결정적인 것은 분산의 계산입니다.
133강 문제 3의 공분산 항이 여기서 자기상관으로 나타납니다. 괄호 안의 값이 보다 크면 실제 표본 개가 독립 표본 개만큼의 값어치를 가지며, 그것을 유효 표본 크기라 부릅니다.
자기상관을 무시하면 표준오차를 과소평가합니다. A/B 테스트에서 같은 사용자의 여러 요청을 독립으로 세거나, 시계열에서 인접 시점을 독립으로 보는 것이 흔한 실수입니다.
심화 3. 큰 수의 법칙과 중심극한정리 사이에 무엇이 있는지 정리하세요.
두 정리는 같은 를 다르게 확대합니다.
| 배율 | 결과 | 정리 |
|---|---|---|
| n^ | 큰 수의 법칙 | |
| \sqrt | 로 수렴 | 중심극한정리(143강) |
| \sqrt | 진동의 정확한 폭 | 반복로그법칙 |
| 지수적으로 작아짐 | 큰 편차 이론 |
셋째 줄이 가장 정교합니다.
이 정확히 입니다. 진동의 폭이 이 값보다 크지도 작지도 않으며, 큰 수의 법칙이 "으로 간다"고만 말한 자리에서 얼마나 천천히 가는지를 정확히 답합니다.
넷째 줄이 146강과 학습이론으로 이어집니다. 꼴이며, 지수의 는 107강의 볼록 켤레함수입니다. 135강 체르노프 경계가 이 이론의 초등적 형태입니다.
심화 4. 글리벤코-칸텔리가 학습이론으로 이어지는 길을 정리하세요.
경험위험최소화는 참 위험을 모르는 채 훈련 오차를 최소화합니다.
각 에 대해서는 큰 수의 법칙이 바로 줍니다. 문제입니다만, 우리가 고르는 는 자료를 보고 고른 것이라 자료와 독립이 아닙니다.
오른쪽이 균등수렴이며 글리벤코-칸텔리의 일반화입니다. 분포함수는 계단함수족에 대한 균등수렴이고, 학습이론은 가설공간 에 대한 균등수렴을 요구합니다.
| 가설공간 | 균등수렴 조건 | 상한의 모양 |
|---|---|---|
| 유한 | 언제나 | \sqrt |
| VC 차원 | \sqrt | |
| 무한 VC | 성립하지 않을 수 있습니다 | 없습니다 |
둘째 줄에서 가 모델 복잡도이며, 214강 모델 복잡도와 과적합의 수학적 뿌리입니다. 복잡한 모델은 균등수렴이 느려서 훈련 오차를 믿기 어렵습니다.
**분포함수의 경우 VC 차원이 **입니다. 계단함수족이 매우 단순하므로 문제 5에서 본 속도가 나옵니다.
심화 5. 큰 수의 법칙이 실무에서 깨지는 자리를 정리하세요.
정리 자체가 틀리는 것이 아니라 가정이 성립하지 않는데 쓰는 것이 문제입니다.
| 자리 | 깨지는 가정 | 증상 |
|---|---|---|
| 소득, 손실액, 트래픽 | 분산 유한 | 평균이 표본마다 크게 흔들립니다 |
| 금융 수익률 꼬리 | 평균 유한 | 극단값 하나가 전체를 지배합니다 |
| 시계열, MCMC | 독립 | 표준오차를 과소평가합니다 |
| 생존한 표본만 관찰 | 같은 분포 | 편향된 값으로 수렴합니다 |
| 시간에 따라 변하는 모집단 | 같은 분포 | 어디로도 수렴하지 않습니다 |
| 스트리밍 자료의 분포 이동 | 같은 분포 | 오래된 표본이 해가 됩니다 |
넷째 줄이 가장 조용히 틀립니다. 큰 수의 법칙은 성립하지만 관측된 분포의 평균으로 수렴하므로, 그것이 우리가 알고 싶은 평균과 다르면 표본을 늘려도 영원히 틀립니다. 표본을 늘리는 것이 편향을 고쳐 주지 않습니다.
177강 관측 데이터의 함정이 이 줄 전체를 다룹니다.
진단은 간단합니다. 표본을 절반씩 나눠 각각의 평균을 재고, 그 흩어짐이 정도인지 봅니다. 훨씬 크면 독립이 아니거나 분산이 무한합니다.
심화 6. 기계학습에서 큰 수의 법칙이 쓰이는 자리를 정리하세요.
| 자리 | 무엇의 표본평균인가 | 관련 강의 |
|---|---|---|
| 미니배치 기울기 | 전체 기울기의 표본평균 | 235강 |
| 검증 정확도 | 지시함수의 표본평균 | 209강 |
| 몬테카를로 적분 | 피적분함수의 표본평균 | 147강 |
| 정책경사 | 보상 가중 로그확률의 표본평균 | 286강 |
| 드롭아웃 앙상블 | 예측의 표본평균 | 245강 |
| 배치 정규화의 이동평균 | 통계량의 가중 표본평균 | 244강 |
| 자기일관성 다수결 | 표본 답의 최빈값 | 336강 |
| 부트스트랩 | 재표본 통계량의 표본평균 | 151강 |
첫째 줄이 딥러닝 전체를 떠받칩니다. 미니배치 기울기는 전체 기울기의 불편추정량이며, 큰 수의 법칙이 없으면 미니배치 학습이 정당화되지 않습니다.
**분산은 배치 크기 에 대해 **이므로 배치를 키우면 잡음이 줄지만 로만 줄어듭니다. 배치를 네 배로 늘려 계산을 네 배 쓰면 잡음은 두 배만 줄어들며, 237강 배치 크기와 학습률의 관계가 이 비효율을 다룹니다.
여섯째 줄이 조용한 함정입니다. 배치 정규화의 이동평균은 지수가중이라 오래된 표본의 가중치가 기하급수적으로 줄어듭니다. 유효 표본 크기가 유한하게 고정되므로 학습이 끝나도 추정값이 계속 흔들립니다.
여덟째 줄에서 큰 수의 법칙이 분포 자체를 줍니다. 재표본을 많이 뽑으면 통계량의 분포를 얻을 수 있으며, 이론적 표본분포를 몰라도 신뢰구간을 만들 수 있습니다.
정답.
| 기호 | 읽는 법 | 뜻 |
|---|---|---|
| \bar{X}_ | 엑스 바 엔 | 표본평균 입니다 |
| \sigma/\sqrt | 표준오차 | 표본평균의 표준편차입니다 |
| \xrightarrow | 확률 수렴 | 어긋날 확률이 으로 갑니다 |
| \xrightarrow | 거의 확실한 수렴 | 경로가 수렴할 확률이 입니다 |
| F_ | 경험분포함수 | 표본으로 만든 계단함수입니다 |
| 상한 | 모든 점에 대한 최댓값입니다 | |
| i.o. | 무한히 자주 | infinitely often, 꼬리 사건입니다 |
| 보렐-칸텔리 | Borel-Cantelli | 확률의 합이 유한하면 꼬리가 입니다 |
| 킨친 | Khinchin | 평균만으로 큰 수의 법칙을 줍니다 |
| 에르고딕성 | ergodicity | 시간평균이 공간평균과 같습니다 |
| 유효 표본 크기 | effective sample size | 자기상관을 보정한 개수입니다 |
| 반복로그법칙 | law of the iterated logarithm | 진동의 정확한 폭입니다 |
| 글리벤코-칸텔리 | Glivenko-Cantelli | 분포함수의 균등수렴입니다 |
| VC 차원 | Vapnik-Chervonenkis | 가설공간의 복잡도입니다 |
다음은 143강 특성함수와 중심극한정리입니다. 이 강의는 가 으로 간다는 것까지만 말했고, 그 오차가 어떤 모양으로 흩어지는지는 말하지 않았습니다.
문제 1의 표에서 차이가 표준오차 정도였고, 문제 5의 마지막 열이 일정한 값 근처에 머물렀습니다. 을 곱해도 흩어지지 않는다면 그 극한은 무엇입니까. 143강이 그 답을 주며, 도구는 141강의 적률생성함수와 58강의 푸리에 변환입니다.
import numpy as np
zg = (np.arange(240001) - 120000) * 1e-4 # 표준정규 분포함수를 격자 누적으로 만듭니다
phig = np.exp(-zg * zg / 2) / np.sqrt(2 * np.pi)
cdfg = (np.cumsum(phig) - 0.5 * phig) * 1e-4
cdfg = cdfg - cdfg[120000] + 0.5
def Phi(z):
return np.interp(z, zg, cdfg)
# --- 문제 1: 표본을 늘리면 표본평균이 참값으로 간다 -----------------------
print(" 주사위를 100만 번 던져 표본평균이 3.5 로 가는지 봅니다")
rng = np.random.default_rng(20260810)
x = rng.integers(1, 7, size=1000000).astype(float)
mu, sig = 3.5, np.sqrt(35.0 / 12.0)
print(" n 표본평균 참값과의 차이 이론 표준오차")
for n in [10, 100, 1000, 10000, 100000, 1000000]:
m = float(x[:n].mean())
print(" %9d %12.6f %12.6f %12.6f" % (n, m, abs(m - mu), sig / np.sqrt(n)))
print(" 차이가 줄지만 매 단계 줄지는 않습니다. 확률 수렴이지 단조 수렴이 아닙니다")
# --- 문제 2: 체비쇼프가 요구하는 표본 크기 -------------------------------
print(" 체비쇼프로 필요한 표본 크기를 정합니다")
eps, delta = 0.1, 0.05
n_cheb = int(np.ceil(sig * sig / (delta * eps * eps)))
z975 = float(np.interp(0.975, cdfg, zg))
n_clt = int(np.ceil((z975 * sig / eps) ** 2))
print(" 분산 %10.6f, 허용오차 %.2f, 실패확률 %.2f" % (sig * sig, eps, delta))
print(" 체비쇼프가 요구하는 n = %d" % n_cheb)
print(" 중심극한정리가 요구하는 n = %d (z = %.6f)" % (n_clt, z975))
print(" 체비쇼프는 %.2f 배 보수적입니다" % (n_cheb / n_clt))
print(" n 체비쇼프 상한 정규근사 참값 비율")
for n in [100, 1000, n_clt, n_cheb]:
ub = sig * sig / (n * eps * eps)
tv = 2 * (1 - float(Phi(eps * np.sqrt(n) / sig)))
print(" %9d %12.8f %12.8f %10.2f" % (n, min(ub, 1.0), tv, min(ub, 1.0) / tv))
print(" 상한은 언제나 옳지만 매우 느슨합니다. 분산만 쓴 대가입니다")
# --- 문제 3: 약한 수렴과 강한 수렴은 무엇이 다른가 -----------------------
print(" 같은 실험을 4000 번 독립으로 돌려 두 확률을 나란히 봅니다")
M, N = 4000, 2000
xs = rng.integers(1, 7, size=(M, N)).astype(float)
means = np.cumsum(xs, axis=1) / np.arange(1, N + 1)
dev = np.abs(means - mu)
tail = np.maximum.accumulate(dev[:, ::-1], axis=1)[:, ::-1]
e2 = 0.1
print(" n P(|Xbar_n - mu| > 0.1) P(어떤 k>=n 에서 넘음)")
for n in [10, 50, 100, 500, 1000, 2000]:
p_weak = float((dev[:, n - 1] > e2).mean())
p_strong = float((tail[:, n - 1] > e2).mean())
print(" %9d %12.6f %12.6f" % (n, p_weak, p_strong))
print(" 왼쪽이 약한 큰 수의 법칙, 오른쪽이 강한 큰 수의 법칙입니다")
print(" 오른쪽이 언제나 더 크거나 같습니다. 한 시점이 아니라 꼬리 전체를 묻기 때문입니다")
# --- 문제 4: 평균이 없으면 성립하지 않는다 -------------------------------
print(" 코시분포에서 표본평균과 표본중앙값을 나란히 봅니다")
c = rng.standard_cauchy(size=1000000)
print(" n 코시 표본평균 코시 표본중앙값")
for n in [10, 100, 1000, 10000, 100000, 1000000]:
print(" %9d %13.6f %13.6f" % (n, float(c[:n].mean()), float(np.median(c[:n]))))
print(" 평균은 아무 데로도 가지 않고 중앙값은 0 으로 갑니다")
print(" 코시는 E[|X|] 가 무한이라 큰 수의 법칙의 가정을 어깁니다")
print(" 분산만 무한하면 어떻게 되는지 봅니다. 파레토 a=1.5 는 평균 3, 분산 무한입니다")
p = 1.0 + rng.pareto(1.5, size=1000000)
print(" n 파레토 표본평균 참값 3 과의 차이")
for n in [10, 100, 1000, 10000, 100000, 1000000]:
m = float(p[:n].mean())
print(" %9d %13.6f %13.6f" % (n, m, abs(m - 3.0)))
print(" 느리지만 갑니다. 평균만 있으면 큰 수의 법칙은 성립합니다")
# --- 문제 5: 큰 수의 법칙이 확률을 계산해 준다 ---------------------------
print(" 지시함수의 평균이 확률입니다. P(Z <= 1) 을 세어 봅니다")
z = rng.standard_normal(1000000)
true = float(Phi(1.0))
print(" n 상대도수 추정 참값 차이")
for n in [100, 1000, 10000, 100000, 1000000]:
est = float((z[:n] <= 1.0).mean())
print(" %9d %12.8f %12.8f %10.6f" % (n, est, true, abs(est - true)))
print(" 분포함수 전체를 한꺼번에 재 봅니다. 경험분포와 참값의 최대 거리입니다")
grid = np.linspace(-4.0, 4.0, 8001)
Ftrue = Phi(grid)
print(" n 최대 거리 1/sqrt(n) 비율")
for n in [100, 1000, 10000, 100000, 1000000]:
zs = np.sort(z[:n])
Fn = np.searchsorted(zs, grid, side="right") / n
d = float(np.max(np.abs(Fn - Ftrue)))
print(" %9d %12.8f %12.8f %10.4f" % (n, d, 1 / np.sqrt(n), d * np.sqrt(n)))
print(" 최대 거리가 0 으로 갑니다. 이것이 글리벤코-칸텔리 정리입니다")
print(" 마지막 열이 일정한 값 근처에 머뭅니다. 143강에서 그 정체를 다룹니다")
# 주사위를 100만 번 던져 표본평균이 3.5 로 가는지 봅니다
# n 표본평균 참값과의 차이 이론 표준오차
# 10 3.500000 0.000000 0.540062
# 100 3.780000 0.280000 0.170783
# 1000 3.486000 0.014000 0.054006
# 10000 3.521200 0.021200 0.017078
# 100000 3.509540 0.009540 0.005401
# 1000000 3.501465 0.001465 0.001708
# 차이가 줄지만 매 단계 줄지는 않습니다. 확률 수렴이지 단조 수렴이 아닙니다
# 체비쇼프로 필요한 표본 크기를 정합니다
# 분산 2.916667, 허용오차 0.10, 실패확률 0.05
# 체비쇼프가 요구하는 n = 5834
# 중심극한정리가 요구하는 n = 1121 (z = 1.959964)
# 체비쇼프는 5.20 배 보수적입니다
# n 체비쇼프 상한 정규근사 참값 비율
# 100 1.00000000 0.55818465 1.79
# 1000 0.29166667 0.06407751 4.55
# 1121 0.26018436 0.04994130 5.21
# 5834 0.04999429 0.00000773 6463.41
# 상한은 언제나 옳지만 매우 느슨합니다. 분산만 쓴 대가입니다
# 같은 실험을 4000 번 독립으로 돌려 두 확률을 나란히 봅니다
# n P(|Xbar_n - mu| > 0.1) P(어떤 k>=n 에서 넘음)
# 10 0.922250 1.000000
# 50 0.714750 0.997250
# 100 0.577000 0.951000
# 500 0.192750 0.373250
# 1000 0.067000 0.121750
# 2000 0.009250 0.009250
# 왼쪽이 약한 큰 수의 법칙, 오른쪽이 강한 큰 수의 법칙입니다
# 오른쪽이 언제나 더 크거나 같습니다. 한 시점이 아니라 꼬리 전체를 묻기 때문입니다
# 코시분포에서 표본평균과 표본중앙값을 나란히 봅니다
# n 코시 표본평균 코시 표본중앙값
# 10 2.859738 0.065729
# 100 0.032838 0.009336
# 1000 1.207426 -0.013603
# 10000 1.654754 0.010136
# 100000 1.655034 0.001004
# 1000000 0.403922 -0.001021
# 평균은 아무 데로도 가지 않고 중앙값은 0 으로 갑니다
# 코시는 E[|X|] 가 무한이라 큰 수의 법칙의 가정을 어깁니다
# 분산만 무한하면 어떻게 되는지 봅니다. 파레토 a=1.5 는 평균 3, 분산 무한입니다
# n 파레토 표본평균 참값 3 과의 차이
# 10 2.098874 0.901126
# 100 2.703891 0.296109
# 1000 2.469493 0.530507
# 10000 2.859872 0.140128
# 100000 2.891648 0.108352
# 1000000 3.017305 0.017305
# 느리지만 갑니다. 평균만 있으면 큰 수의 법칙은 성립합니다
# 지시함수의 평균이 확률입니다. P(Z <= 1) 을 세어 봅니다
# n 상대도수 추정 참값 차이
# 100 0.92000000 0.84134475 0.078655
# 1000 0.84400000 0.84134475 0.002655
# 10000 0.84570000 0.84134475 0.004355
# 100000 0.84283000 0.84134475 0.001485
# 1000000 0.84153500 0.84134475 0.000190
# 분포함수 전체를 한꺼번에 재 봅니다. 경험분포와 참값의 최대 거리입니다
# n 최대 거리 1/sqrt(n) 비율
# 100 0.09272552 0.10000000 0.9273
# 1000 0.04026939 0.03162278 1.2734
# 10000 0.01100822 0.01000000 1.1008
# 100000 0.00365576 0.00316228 1.1561
# 1000000 0.00073083 0.00100000 0.7308
# 최대 거리가 0 으로 갑니다. 이것이 글리벤코-칸텔리 정리입니다
# 마지막 열이 일정한 값 근처에 머뭅니다. 143강에서 그 정체를 다룹니다