이 단원에서 합의 분포를 두 번 마주쳤습니다.
| 강의 | 방법 | 결과 |
|---|---|---|
| 139 문제 4 | 보조변수 + 주변화 | 합성곱 적분 |
| 134 문제 3 | 적률생성함수 | 곱셈 한 번 |
이제 두 방법을 정리하고 어느 분포족이 합에 닫혀 있는지 완성합니다.
둘은 같은 사실의 두 얼굴이며, 58강에서 푸리에 변환이 합성곱을 곱으로 바꾼 것과 정확히 같은 구조입니다.
그리고 이 강의가 05단원으로 가는 다리입니다.
표본평균이 이므로, 142강의 큰 수의 법칙과 143강의 중심극한정리가 모두 이 합의 극한을 다룹니다. 문제 5에서 그 수렴을 미리 봅니다.
문제. 공정한 주사위의 분포를 스스로 합성곱합니다.
(1) 두 개일 때의 분포를 구하세요.
(2) 세 개일 때를 구하고 평균과 분산을 확인하세요.
(3) 직접 열거한 결과와 비교하세요.
생각의 실마리. 139강 문제 4에서 합의 밀도가 합성곱이라고 했습니다. 이산이면 적분이 합이 됩니다.
풀이. (1)(2) 검산 결과입니다.
| 합 | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 개수 |
126강 문제 1의 표와 같습니다.
세 개면 이렇습니다.
| 합 | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 개수 |
**평균이 이고 분산이 **이며, 와 와 같습니다.
앞쪽 개수 가 삼각수입니다. 합이 작을 때는 제약이 없어 조합이 그대로 나오기 때문이며, 부터 눈이 을 넘을 수 없다는 제약이 걸려 에서 로 증가폭이 꺾입니다.
(3) 직접 열거한 가지와 **최대 차이가 **입니다.
이 문제에서 배우는 것: 이산 합성곱.
이산 합성곱. 와 가 독립인 정수값 확률변수이면
136강의 결합분포를 대각선으로 훑는 것입니다. 인 사건은 들의 합집합이고 서로 배반이므로 공리 3으로 더합니다.
독립이 어디에 쓰였는지 분명합니다. 로 쪼갤 때만 쓰입니다. 독립이 아니면 결합분포를 직접 훑어야 합니다.
모멘트는 독립 없이도 더해집니다. 132강의 선형성으로 평균이, 133강의 가법성으로 분산이 더해집니다. 다만 분산에는 독립이 필요합니다.
세 개의 합에서 확인한 와 가 그것입니다.
합성곱을 반복하면 계산이 커집니다. 개를 더하려면 합성곱을 번 해야 하며, 각각이 입니다. 적률생성함수를 쓰면 제곱 한 번이라는 것이 문제 3의 요점입니다.
바로 확인 1.
확인 1-1. 이산 합성곱 공식을 쓰세요.
답. 입니다.
확인 1-2. 독립이 어디에 쓰이는지 쓰세요.
답. 결합분포를 두 주변분포의 곱으로 쪼갤 때입니다.
확인 1-3. 주사위 세 개의 평균과 분산을 쓰세요.
답. 와 입니다.
문제. 을 여러 개 더합니다.
(1) 두 개의 합의 밀도를 구하세요.
(2) 세 개의 합의 밀도를 구하세요.
(3) 균등분포족이 합에 닫히는지 판정하세요.
생각의 실마리. 139강 문제 4에서 유도한 합성곱 적분을 그대로 씁니다. 균등분포의 밀도가 상수라 적분이 구간의 길이가 됩니다.
풀이. (1) 검산 결과입니다.
| 두 개 합 수치 | 삼각분포 이론 | 차이 | |
|---|---|---|---|
| 1.00\times10^ | |||
| 1.00\times10^ | |||
| 1.00\times10^ | |||
| 1.00\times10^ | |||
| 1.00\times10^ |
밀도가 이다가 로 꺾이는 삼각분포입니다. 차이 는 격자 간격에서 오며, 이론값을 격자점에서 평가한 것입니다.
(2) 세 개의 합은 구간마다 다른 이차식입니다.
| 세 개 합 수치 | 어윈홀 이론 | 차이 | |
|---|---|---|---|
| 1.00\times10^ | |||
| 2.00\times10^ | |||
| 1.00\times10^ | |||
| 2.00\times10^ | |||
| 1.00\times10^ |
(3) 균등 두 개를 더하면 균등이 아니라 삼각입니다. 족이 닫히지 않습니다.
이 문제에서 배우는 것: 연속 합성곱과 어윈홀 분포.
연속 합성곱. 와 가 독립이면
139강 문제 4에서 보조변수로 유도한 식입니다.
어윈홀 분포. 개의 합의 분포이며 구간마다 다른 차 다항식입니다.
| 밀도의 모양 | |
|---|---|
| 상수 (구간 하나) | |
| 조각별 일차, 삼각 | |
| 조각별 이차 | |
| 조각별 차 |
합성곱을 할 때마다 매끄러워집니다. 상수가 꺾인 선이 되고, 꺾인 선이 매끄러운 곡선이 됩니다. 합성곱이 평활화 연산이라는 것이 여기서 보이며, 이것이 문제 5에서 정규분포로 가는 이유입니다.
계산이 급격히 어려워집니다. 의 밀도만 해도
이며 이 커지면 조각이 개로 늘어납니다. 적률생성함수로 하면 한 줄이지만, 역변환이 어려워 결국 이 다항식을 얻어야 합니다.
바로 확인 2.
확인 2-1. 연속 합성곱 공식을 쓰세요.
답. 입니다.
확인 2-2. 균등 두 개의 합의 분포를 쓰세요.
답. 삼각분포이며 균등이 아닙니다.
확인 2-3. 합성곱을 반복하면 밀도가 어떻게 되는지 쓰세요.
답. 점점 매끄러워집니다.
문제. 여러 분포족에서 합의 분포를 로 판정합니다.
(1) 각 족의 를 쓰고 곱했을 때 어떻게 되는지 보세요.
(2) 닫히는 족과 아닌 족을 나누세요.
(3) 수치로 확인하세요.
생각의 실마리. 134강 문제 3에서 였습니다. 곱이 같은 꼴로 남으면 족이 닫힙니다.
풀이. (1)(2) 검산 결과입니다.
| 족 | 합의 모수 | 닫히는가 | |
|---|---|---|---|
| 이항 (같은 ) | (1-p+pe^{t})^ | n_{1}+n_ | 참입니다 |
| 포아송 | \lambda_{1}+\lambda_ | 참입니다 | |
| 정규 | , 각각 | 참입니다 | |
| 감마 (같은 ) | (\lambda/(\lambda-t))^ | a_{1}+a_ | 참입니다 |
| 카이제곱 | (1-2t)^ | k_{1}+k_ | 참입니다 |
| 기하 | 음이항이 됩니다 | 아닙니다 | |
| 균등 | 삼각이 됩니다 | 아닙니다 |
앞의 다섯은 이 지수에 모수가 들어 있는 꼴이라 곱하면 지수가 더해집니다.
(3) 에서 확인합니다.
| 확인식 | 곱 | 합의 | 차이 |
|---|---|---|---|
| 1.78\times10^ | |||
| 1.78\times10^ | |||
| \chi^{2}_{3}+\chi^{2}_{4}=\chi^{2}_ | |||
이 문제에서 배우는 것: 재생성.
재생성. 어떤 분포족이 독립 합에 대해 닫혀 있으면 재생성이 있다고 합니다.
판정이 의 곱을 보는 것입니다.
닫히는 족들의 공통 구조가 있습니다.
| 족 | 의 꼴 | 무엇이 더해지는가 |
|---|---|---|
| 포아송 | ||
| 이항 | ||
| 감마 | ||
| 정규 | 와 \sigma^ |
모수가 에 선형으로 들어가면 닫힙니다. 134강 문제 5의 누율생성함수로 읽으면 가 모수에 선형이라는 뜻이며, 누율이 더해지는 것과 같은 말입니다.
셋째 줄에 조건이 붙어 있습니다. 감마는 가 같아야 하고 이항은 가 같아야 합니다. 척도 모수가 다르면 닫히지 않습니다.
카이제곱이 감마의 특수 경우라 자동으로 따라옵니다. 131강 문제 4에서 이므로 로 언제나 같고, 가 더해져 가 더해집니다.
이 사실이 145강에서 표본분산의 분포를 유도할 때 결정적입니다.
바로 확인 3.
확인 3-1. 재생성의 판정 방법을 쓰세요.
답. 의 곱이 같은 족의 꼴로 남는지 봅니다.
확인 3-2. 닫히는 족들의 공통 구조를 쓰세요.
답. 모수가 에 선형으로 들어갑니다.
확인 3-3. 감마와 이항에 붙는 조건을 쓰세요.
답. 감마는 가, 이항은 가 같아야 합니다.
문제. 기하분포 두 개의 합을 봅니다.
(1) 합성곱으로 계산하세요.
(2) 음이항분포와 비교하세요.
(3) 기하분포로 맞출 수 있는지 확인하세요.
생각의 실마리. 128강 문제 3에서 기하분포 개의 합이 음이항이라고 했습니다. 수치로 확인합니다.
풀이. 에서 검산 결과입니다.
| 기하 합성곱 | 음이항 이론 | 기하 로 맞춘 값 | 차이(음이항) | |
|---|---|---|---|---|
| 6.94\times10^ | ||||
둘째 열과 셋째 열이 정확히 같고 넷째 열은 전혀 다릅니다.
에서 음이항은 인데 기하는 로 여덟 배 차이입니다.
이 문제에서 배우는 것: 닫히지 않는 족.
음이항분포. 기하분포 개의 독립 합이며 "번째 성공까지의 시행 수"입니다.
을 보면 이유가 즉시 보입니다.
분자가 제곱이라 기하분포의 꼴이 아닙니다. 지수 을 모수로 허용하면 그것이 음이항이며, 기하는 인 특수 경우입니다.
닫히지 않는 족은 대개 더 큰 족으로 확장하면 닫힙니다.
| 좁은 족 | 넓힌 족 | 무엇을 모수로 추가하는가 |
|---|---|---|
| 기하 | 음이항 | 성공 횟수 |
| 지수 | 감마 | 모양 모수 |
| 베르누이 | 이항 | 시행 횟수 |
| 균등 | 어윈홀 | 더한 개수 |
넷째 줄만 익숙한 이름이 없습니다. 어윈홀 분포는 쓰임이 적어 표준 분포족으로 다루지 않습니다.
이 표가 128강 문제 3의 대응표와 이어집니다. 앞의 셋은 모두 "번 반복"이라는 자연스러운 해석이 있어 널리 쓰입니다.
실무의 함의가 있습니다. 관측이 여러 과정의 합이면 개별 과정의 분포족이 아니라 넓힌 족으로 모형화해야 합니다. 128강 심화 1의 과산포에서 포아송 대신 음이항을 쓰는 것도 같은 논리입니다.
바로 확인 4.
확인 4-1. 기하분포 두 개의 합이 무엇인지 쓰세요.
답. 음이항분포이며 기하가 아닙니다.
확인 4-2. 으로 보면 왜 안 되는지 쓰세요.
답. 분자가 제곱이라 기하의 꼴이 아닙니다.
확인 4-3. 좁은 족을 넓히는 예를 두 가지 쓰세요.
답. 기하를 음이항으로, 지수를 감마로 넓힙니다.
문제. 을 개 더해 표준화합니다.
(1) 표준화한 밀도를 표준정규와 비교하세요.
(2) 을 키우며 최대 오차를 보세요.
(3) 결과의 의미를 쓰세요.
생각의 실마리. 문제 2에서 합성곱이 평활화 연산이라고 했습니다. 계속 매끄럽게 하면 어떤 모양으로 수렴하는지 봅니다.
풀이. 균등의 평균이 , 분산이 이므로 합은 평균 , 분산 입니다. 검산 결과입니다.
| 최대 밀도 오차 | 중심 밀도 | 표준정규 | |
|---|---|---|---|
에서 이던 오차가 에 로 아홉 배 줄고, 이후 단조롭게 감소합니다.
의 중심 밀도가 로 오히려 넘칩니다. 삼각분포의 꼭짓점이 뾰족하기 때문이며, 이 커지며 로 다가갑니다.
이 문제에서 배우는 것: 합이 정규로 간다.
중심극한정리(예고). 가 독립 동일분포이고 분산이 유한하면
143강에서 증명하며, 이 문제는 균등분포에서 그 수렴을 눈으로 확인한 것입니다.
수렴이 놀랍도록 빠릅니다. 균등분포는 정규와 전혀 다르게 생겼는데 **두 개만 더해도 오차가 **입니다.
이유가 세 가지입니다.
| 이유 | 설명 |
|---|---|
| 대칭 | 왜도가 이라 삼차 항이 없습니다 |
| 유계 | 꼬리가 없어 극단값이 없습니다 |
| 매끄러워짐 | 합성곱이 평활화 연산입니다 |
치우친 분포는 훨씬 느립니다. 127강 문제 4의 왜도가 였는데, 이 커지며 로만 줄어듭니다.
134강 심화 5의 누율 논증이 이것을 설명합니다. 표준화한 합의 차 누율이
이므로 이면 으로 가고 일차와 이차만 남아 정규분포가 됩니다. 그리고 **감소 속도가 **이므로 삼차 누율(왜도)이 로 가장 느리게 사라집니다.
**균등분포는 삼차 누율이 처음부터 **이라 사차부터 시작하며, 그것이 로 줄어 수렴이 빠릅니다.
실무의 함의가 있습니다.
| 상황 | 이 얼마나 필요한가 |
|---|---|
| 대칭이고 유계 | 면 대개 충분합니다 |
| 약간 치우침 | 이 관례입니다 |
| 심하게 치우침 | 도 부족할 수 있습니다 |
| 꼬리가 두꺼움 | 수렴하지 않을 수 있습니다 |
"이면 정규 근사"라는 규칙이 셋째 줄과 넷째 줄에서 깨집니다. 130강 심화 5와 132강 문제 4에서 본 대로이며, 분포의 모양을 보지 않고 표본 크기만으로 판단하면 안 됩니다.
바로 확인 5.
확인 5-1. 표준화한 합이 어디로 가는지 쓰세요.
답. 표준정규분포로 갑니다.
확인 5-2. 균등분포에서 수렴이 빠른 이유를 쓰세요.
답. 대칭이고 유계라 삼차 누율이 이기 때문입니다.
확인 5-3. "" 규칙이 깨지는 경우를 쓰세요.
답. 심하게 치우쳤거나 꼬리가 두꺼운 경우입니다.
| 개념 | 식 |
|---|---|
| 이산 합성곱 | |
| 연속 합성곱 | |
| 적률생성함수 | |
| 누율 | 가 더해집니다 |
| 평균과 분산 | 언제나 더해집니다(분산은 독립일 때) |
| 표준화한 합 | 로 수렴 |
| 족 | 합에 닫히는가 | 조건 |
|---|---|---|
| 이항 | 닫힙니다 | 같은 |
| 포아송 | 닫힙니다 | 없습니다 |
| 정규 | 닫힙니다 | 없습니다 |
| 감마 | 닫힙니다 | 같은 |
| 카이제곱 | 닫힙니다 | 없습니다 |
| 기하 | 닫히지 않습니다 | 음이항이 됩니다 |
| 균등 | 닫히지 않습니다 | 어윈홀이 됩니다 |
| 자주 하는 실수 | 바로잡기 |
|---|---|
| 균등 합이 균등이라 봅니다 | 삼각이 됩니다 |
| 감마 합에서 를 확인 안 합니다 | 같아야 닫힙니다 |
| 독립 없이 합성곱을 씁니다 | 결합분포를 직접 훑어야 합니다 |
| 이면 언제나 정규라 봅니다 | 분포의 모양을 봐야 합니다 |
문제 6. 이산 합성곱 공식을 쓰세요.
답. 입니다.
문제 7. 독립이 어디에 쓰이는지 쓰세요.
답. 결합분포를 두 주변분포의 곱으로 쪼갤 때입니다.
문제 8. 주사위 세 개의 합의 평균과 분산을 쓰세요.
답. 와 입니다.
문제 9. 연속 합성곱 공식을 쓰세요.
답. 입니다.
문제 10. 균등 두 개의 합의 분포를 쓰세요.
답. 삼각분포입니다.
문제 11. 균등 개의 합의 분포 이름과 모양을 쓰세요.
답. 어윈홀 분포이며 조각별 차 다항식입니다.
문제 12. 합성곱이 어떤 성질의 연산인지 쓰세요.
답. 평활화 연산이며 반복할수록 매끄러워집니다.
문제 13. 재생성의 판정 방법을 쓰세요.
답. 의 곱이 같은 족의 꼴로 남는지 봅니다.
문제 14. 닫히는 족들의 공통 구조를 쓰세요.
답. 모수가 에 선형으로 들어갑니다.
문제 15. 감마와 이항에 붙는 조건을 쓰세요.
답. 감마는 가, 이항은 가 같아야 합니다.
문제 16. 기하 두 개의 합과 그 이유를 쓰세요.
답. 음이항이며 의 분자가 제곱이라 기하 꼴이 아닙니다.
문제 17. 좁은 족을 넓히는 예를 세 가지 쓰세요.
답. 기하를 음이항으로, 지수를 감마로, 베르누이를 이항으로 넓힙니다.
문제 18. 표준화한 합이 어디로 가는지와 수렴 속도를 정하는 것을 쓰세요.
답. 표준정규로 가며 왜도 같은 고차 누율이 속도를 정합니다.
심화 1. 합성곱의 성질을 정리하세요.
합성곱 는 여러 좋은 성질을 갖습니다.
| 성질 | 식 | 확률의 뜻 |
|---|---|---|
| 교환 | ||
| 결합 | 더하는 순서가 무관합니다 | |
| 항등원 | 상수 을 더합니다 | |
| 평활화 | 매끄러움이 더해집니다 | 문제 2와 문제 5 |
셋째 줄의 가 디랙 델타이며, "확률 로 "인 확률변수의 분포입니다. 126강 심화 3의 혼합형 분포에서 점질량에 해당합니다.
넷째 줄이 정량적으로 성립합니다. 가 이고 가 이면 는 입니다. 문제 2에서 상수(불연속)를 두 번 합성곱하니 조각별 이차(한 번 미분가능)가 된 것이 이 규칙입니다.
58강의 푸리에 변환이 합성곱을 곱으로 바꿉니다.
134강의 적률생성함수와 특성함수가 정확히 이 사실이며, 그래서 문제 3이 문제 1보다 훨씬 쉽습니다.
계산 복잡도도 이 성질로 개선됩니다. 직접 합성곱이 인데 FFT를 쓰면 입니다. 큰 이산분포의 합을 계산할 때 표준 기법입니다.
심화 2. 안정분포를 정리하세요.
정규분포는 합에 닫히면서 모양까지 유지합니다. 그런 성질을 일반화합니다.
안정분포. 가 독립이고 와 같은 분포일 때, 임의의 에 대해
인 가 존재하면 안정분포라 합니다.
**"스케일과 위치만 바뀌고 모양은 그대로"**입니다.
| 분포 | 안정인가 | 분산 |
|---|---|---|
| 정규 | 안정입니다 | 유한합니다 |
| 코시 | 안정입니다 | 없습니다 |
| 레비 | 안정입니다 | 없습니다 |
| 포아송 | 아닙니다 | 유한합니다 |
| 감마 | 아닙니다 | 유한합니다 |
넷째와 다섯째 줄이 재생성과 안정성의 차이입니다. 포아송은 합이 포아송이지만 가 바뀌므로 모양이 바뀝니다. 안정성이 더 강한 조건입니다.
유한 분산을 갖는 안정분포는 정규분포뿐입니다.
130강 심화 1의 다섯째 줄이 이것입니다. 그리고 이것이 중심극한정리에 분산 유한이 필요한 이유입니다. 분산이 없으면 극한이 정규가 아니라 다른 안정분포가 되며, 이를 일반화 중심극한정리라 합니다.
코시분포에서 확인됩니다. 코시 개의 평균은 다시 코시분포이며 이 아무리 커져도 퍼짐이 줄지 않습니다. 135강 심화 3에서 언급한 대로입니다.
금융에서 이 사실이 쓰입니다. 수익률의 꼬리가 두꺼우면 정규 대신 안정분포를 쓰며, 특성 지수 가 꼬리의 두께를 정합니다.
심화 3. 종속인 경우의 합을 개관하세요.
합성곱은 독립을 요구합니다. 종속이면 결합분포를 직접 다뤄야 합니다.
139강 문제 4의 유도에서 독립을 쓰지 않은 부분이며, 마지막에 로 쪼갤 때만 독립이 필요합니다.
모멘트는 여전히 다룰 수 있습니다.
133강 문제 3의 공식이며, 138강에서 공분산행렬로 쓰면
모든 성분의 합입니다.
정규분포는 종속이어도 쉽습니다. 140강 문제 2의 선형결합 성질로
이며 독립이 전혀 필요 없습니다. 다변량 정규라는 전제만 있으면 됩니다.
시계열에서 이것이 중요합니다. 자기상관이 있으면 가 보다 크며, 유효 표본 크기라는 개념을 씁니다.
133강 심화 2의 시계열 표준오차 과소평가가 이 식으로 정량화되며, 157강의 MCMC에서 표본의 실질적 개수를 재는 표준 지표입니다.
심화 4. 무작위 개수의 합을 다루세요.
지금까지 더하는 개수 이 고정이었습니다. 이 확률변수이면 어떻게 되는지 봅니다.
복합분포라 하며, 보험 총 청구액이나 웹 세션의 총 클릭 수가 이 구조입니다.
모멘트가 137강의 두 법칙으로 나옵니다.
전체 기댓값 법칙으로 에 조건을 걸면 바로 나옵니다. 왈드 항등식이라 부릅니다.
전체 분산 법칙입니다. 둘째 항이 의 변동에서 오며, 이 고정이면 사라집니다.
적률생성함수도 깔끔합니다.
의 확률생성함수에 의 적률생성함수를 넣은 합성이며, 134강 심화 3의 가 여기서 쓰입니다.
이 포아송이면 복합 포아송이 됩니다.
보험 수리학의 표준 모형이며, 128강 심화 1의 과산포도 이 틀로 설명됩니다.
심화 5. 합의 분포를 수치로 계산하는 방법을 정리하세요.
이론적으로 풀리지 않을 때 수치로 구해야 합니다.
| 방법 | 비용 | 특징 |
|---|---|---|
| 직접 합성곱 | 정확하지만 느립니다 | |
| FFT 합성곱 | 빠르지만 순환 겹침 주의 | |
| 특성함수 반전 | 연속에도 적용됩니다 | |
| 몬테카를로 | 표본 수 | 차원에 무관합니다 |
| 정규 근사 | 이 크면 충분합니다 |
둘째 줄에 함정이 있습니다. FFT 합성곱은 순환 합성곱이라 배열 끝이 앞으로 감기며, 양쪽에 을 충분히 채워야 합니다. 채우지 않으면 꼬리가 반대쪽에 나타나 조용히 틀린 답이 나옵니다.
문제 5의 검산에서 다른 형태의 같은 함정을 만났습니다. 격자를 만 잡고 까지 합성곱하니 지지구간 이 잘려 오차가 에서 로 튀었습니다. 격자를 로 넓히니 단조 감소가 회복되었습니다.
셋째 줄이 가장 일반적입니다. 특성함수를 곱하고 푸리에 역변환하면 밀도가 나오며, 길로우 무흐타 방법이 표준입니다.
넷째 줄이 실무에서 가장 흔합니다. 각 성분을 뽑아 더하기만 하면 되며, 132강 심화 6의 몬테카를로 오차 가 적용됩니다.
심화 6. 합이 기계학습에 나타나는 자리를 정리하세요.
| 자리 | 어떤 합 |
|---|---|
| 미니배치 기울기 | 표본별 기울기의 합 |
| 손실함수 | 표본별 손실의 합 |
| 층의 출력 | 가중치와 입력의 곱의 합 |
| 어텐션 | 값 벡터의 가중합 |
| 앙상블 | 모형 예측의 합 |
| 잔차 연결 | 층 출력과 입력의 합 |
| 확산모형 | 여러 단계 잡음의 누적 |
셋째 줄이 130강 심화 6의 초기화입니다. 가 독립 합이므로 문제 5의 중심극한정리로 출력이 근사적으로 정규가 되고, 분산이 이라 으로 잡습니다.
일곱째 줄이 140강 심화 6과 이어집니다. 확산모형의 순방향이
로 한 번에 쓰이는 것은 정규분포가 합에 닫혀 있기 때문입니다. 여러 단계의 잡음을 누적해도 정규로 남아 하나의 정규로 합칠 수 있으며, 문제 3의 재생성이 없으면 이 요령이 통하지 않습니다.
첫째와 둘째 줄이 05단원의 주제입니다. 미니배치 기울기가 참 기울기의 불편추정량이고 그 분산이 로 줄어드는 것이 133강 문제 4였는데, 그것이 정말 참값에 수렴하는지를 142강이 보장합니다.
import numpy as np, math, itertools
# --- 문제 1: 이산 합은 합성곱이다 ---------------------------------------
print(" 주사위 하나의 분포를 스스로 합성곱해 갑니다")
p1 = np.ones(6)/6
def conv(a, b):
return np.convolve(a, b)
p2 = conv(p1, p1); p3 = conv(p2, p1)
print(" 주사위 2 개: 합 2~12 의 분포 (36 분의 몇)")
print(" s " + "".join("%6d" % (s) for s in range(2, 13)))
print(" 개수" + "".join("%6.0f" % (p2[s-2]*36) for s in range(2, 13)))
print(" 합 %.10f" % p2.sum())
print(" 주사위 3 개: 합 3~18 의 분포 (216 분의 몇)")
print(" s " + "".join("%5d" % s for s in range(3, 19)))
print(" 개수" + "".join("%5.0f" % (p3[s-3]*216) for s in range(3, 19)))
print(" 합 %.10f, 평균 %.6f, 분산 %.6f"
% (p3.sum(), float(np.arange(3, 19) @ p3),
float(((np.arange(3, 19) - 10.5)**2) @ p3)))
print(" 평균 3*3.5 = %.1f, 분산 3*35/12 = %.6f 와 같습니다" % (10.5, 3*35/12))
print(" 직접 열거해 확인합니다")
S3 = list(itertools.product(range(1, 7), repeat=3))
cnt = {}
for w in S3: cnt[sum(w)] = cnt.get(sum(w), 0) + 1
print(" 열거 개수" + "".join("%5d" % cnt[s] for s in range(3, 19)))
print(" 합성곱과 최대 차이 %.2e"
% max(abs(cnt[s]/216 - p3[s-3]) for s in range(3, 19)))
# 주사위 하나의 분포를 스스로 합성곱해 갑니다
# 주사위 2 개: 합 2~12 의 분포 (36 분의 몇)
# s 2 3 4 5 6 7 8 9 10 11 12
# 개수 1 2 3 4 5 6 5 4 3 2 1
# 합 1.0000000000
# 주사위 3 개: 합 3~18 의 분포 (216 분의 몇)
# s 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
# 개수 1 3 6 10 15 21 25 27 27 25 21 15 10 6 3 1
# 합 1.0000000000, 평균 10.500000, 분산 8.750000
# 평균 3*3.5 = 10.5, 분산 3*35/12 = 8.750000 와 같습니다
# 직접 열거해 확인합니다
# 열거 개수 1 3 6 10 15 21 25 27 27 25 21 15 10 6 3 1
# 합성곱과 최대 차이 2.78e-17
# --- 문제 2: 연속 합도 합성곱이다 ---------------------------------------
print(" 균등 U(0,1) 을 더해 갑니다. 어윈홀 분포입니다")
M = 200000; h = 4.0/M
xs = (np.arange(M) + 0.5)*h
u1 = np.where(xs <= 1.0, 1.0, 0.0)
def cc(a, b, h):
return np.convolve(a, b)[:len(a)]*h
u2 = cc(u1, u1, h); u3 = cc(u2, u1, h)
tri = lambda t: t if t <= 1 else (2-t if t <= 2 else 0.0)
print(" z U 두 개 합 수치 삼각분포 이론 차이")
for z in [0.3, 0.8, 1.0, 1.5, 1.9]:
i = int(np.argmin(np.abs(xs - z)))
print(" %7.1f %18.10f %18.10f %12.2e" % (xs[i], u2[i], tri(xs[i]), abs(u2[i]-tri(xs[i]))))
def ih3(t):
if t < 1: return t*t/2
if t < 2: return (-2*t*t + 6*t - 3)/2
if t < 3: return (3-t)**2/2
return 0.0
print(" z U 세 개 합 수치 어윈홀 이론 차이")
for z in [0.5, 1.0, 1.5, 2.0, 2.5]:
i = int(np.argmin(np.abs(xs - z)))
print(" %7.1f %18.10f %18.10f %12.2e" % (xs[i], u3[i], ih3(xs[i]), abs(u3[i]-ih3(xs[i]))))
print(" 균등 두 개를 더하면 균등이 아니라 삼각이 됩니다. 족이 닫히지 않습니다")
# 균등 U(0,1) 을 더해 갑니다. 어윈홀 분포입니다
# z U 두 개 합 수치 삼각분포 이론 차이
# 0.3 0.3000000000 0.2999900000 1.00e-05
# 0.8 0.8000000000 0.7999900000 1.00e-05
# 1.0 1.0000000000 0.9999900000 1.00e-05
# 1.5 0.5000000000 0.5000100000 1.00e-05
# 1.9 0.1000000000 0.1000100000 1.00e-05
# z U 세 개 합 수치 어윈홀 이론 차이
# 0.5 0.1250050000 0.1249950001 1.00e-05
# 1.0 0.5000100000 0.4999900001 2.00e-05
# 1.5 0.7500000000 0.7499999999 1.00e-10
# 2.0 0.4999900000 0.5000099999 2.00e-05
# 2.5 0.1249950000 0.1250050000 1.00e-05
# 균등 두 개를 더하면 균등이 아니라 삼각이 됩니다. 족이 닫히지 않습니다
# --- 문제 3: 적률생성함수로 하면 곱셈 한 번이다 -------------------------
print(" M_{X+Y}(t) = M_X(t) M_Y(t) 이므로 지수의 모수를 읽기만 하면 됩니다")
t = 0.4
print(" 족 M(t) 합의 모수 닫히는가")
rows = [("이항 (같은 p)", "(1-p+p e^t)^n", "n1 + n2", True),
("포아송", "exp(lam(e^t - 1))", "lam1 + lam2", True),
("정규", "exp(mu t + s^2 t^2/2)", "mu, s^2 각각", True),
("감마 (같은 lam)", "(lam/(lam-t))^a", "a1 + a2", True),
("카이제곱", "(1-2t)^{-k/2}", "k1 + k2", True),
("기하", "p e^t/(1-(1-p)e^t)", "음이항이 됨", False),
("균등", "(e^t - 1)/t", "삼각이 됨", False)]
for nm, m, s, ok in rows:
print(" %-14s %-24s %-14s %8s" % (nm, m, s, ok))
print(" 수치로 확인합니다 (t = %.1f)" % t)
chk = [("Pois(2)+Pois(3) = Pois(5)",
np.exp(2*(np.exp(t)-1))*np.exp(3*(np.exp(t)-1)), np.exp(5*(np.exp(t)-1))),
("Gam(2,1)+Gam(3,1) = Gam(5,1)",
(1/(1-t))**2 * (1/(1-t))**3, (1/(1-t))**5),
("chi2_3 + chi2_4 = chi2_7",
(1-2*t)**(-1.5) * (1-2*t)**(-2.0), (1-2*t)**(-3.5)),
("N(1,2)+N(-1,3) = N(0,5)",
np.exp(1*t+2*t*t/2)*np.exp(-1*t+3*t*t/2), np.exp(0*t+5*t*t/2))]
print(" 확인식 M 곱 합의 M 차이")
for nm, a, b in chk:
print(" %-30s %14.8f %14.8f %12.2e" % (nm, a, b, abs(a-b)))
# M_{X+Y}(t) = M_X(t) M_Y(t) 이므로 지수의 모수를 읽기만 하면 됩니다
# 족 M(t) 합의 모수 닫히는가
# 이항 (같은 p) (1-p+p e^t)^n n1 + n2 True
# 포아송 exp(lam(e^t - 1)) lam1 + lam2 True
# 정규 exp(mu t + s^2 t^2/2) mu, s^2 각각 True
# 감마 (같은 lam) (lam/(lam-t))^a a1 + a2 True
# 카이제곱 (1-2t)^{-k/2} k1 + k2 True
# 기하 p e^t/(1-(1-p)e^t) 음이항이 됨 False
# 균등 (e^t - 1)/t 삼각이 됨 False
# 수치로 확인합니다 (t = 0.4)
# 확인식 M 곱 합의 M 차이
# Pois(2)+Pois(3) = Pois(5) 11.69455663 11.69455663 1.78e-15
# Gam(2,1)+Gam(3,1) = Gam(5,1) 12.86008230 12.86008230 1.78e-15
# chi2_3 + chi2_4 = chi2_7 279.50849719 279.50849719 0.00e+00
# N(1,2)+N(-1,3) = N(0,5) 1.49182470 1.49182470 0.00e+00
# --- 문제 4: 닫히지 않는 족을 확인한다 ----------------------------------
print(" 기하 두 개의 합은 기하가 아니라 음이항입니다")
p = 0.3
K = 60
geo = np.array([(1-p)**(k-1)*p if k >= 1 else 0.0 for k in range(K)])
g2 = np.convolve(geo, geo)[:K]
nb = np.array([math.comb(k-1, 1)*(1-p)**(k-2)*p*p if k >= 2 else 0.0 for k in range(K)])
print(" k 기하 합성곱 음이항(r=2) 이론 기하 p 로 맞춘 값 차이(음이항)")
for k in [2, 3, 5, 10, 20]:
print(" %7d %14.10f %20.10f %20.10f %12.2e"
% (k, g2[k], nb[k], (1-p)**(k-1)*p, abs(g2[k]-nb[k])))
print(" 두 번째 열과 세 번째 열이 전혀 다릅니다. 기하족은 합에 닫히지 않습니다")
print(" 균등도 마찬가지입니다. 문제 2 에서 삼각이 나왔습니다")
print(" 족이 닫히려면 M 의 곱이 같은 꼴로 남아야 합니다")
print(" 기하: (p e^t/(1-(1-p)e^t))^2 는 분자가 제곱이라 기하 꼴이 아닙니다")
# 기하 두 개의 합은 기하가 아니라 음이항입니다
# k 기하 합성곱 음이항(r=2) 이론 기하 p 로 맞춘 값 차이(음이항)
# 2 0.0900000000 0.0900000000 0.2100000000 0.00e+00
# 3 0.1260000000 0.1260000000 0.1470000000 0.00e+00
# 5 0.1234800000 0.1234800000 0.0720300000 0.00e+00
# 10 0.0466948881 0.0466948881 0.0121060821 6.94e-18
# 20 0.0027845873 0.0027845873 0.0003419669 0.00e+00
# 두 번째 열과 세 번째 열이 전혀 다릅니다. 기하족은 합에 닫히지 않습니다
# 균등도 마찬가지입니다. 문제 2 에서 삼각이 나왔습니다
# 족이 닫히려면 M 의 곱이 같은 꼴로 남아야 합니다
# 기하: (p e^t/(1-(1-p)e^t))^2 는 분자가 제곱이라 기하 꼴이 아닙니다
# --- 문제 5: n 을 키우면 정규로 간다 ------------------------------------
print(" 균등 n 개의 합을 표준화하면 정규에 다가갑니다")
print(" 균등의 평균 0.5, 분산 1/12 이므로 합은 평균 n/2, 분산 n/12 입니다")
M2 = 20000; h2 = 8.0/M2 # 합의 지지구간 [0, n] 을 덮도록 [0, 8] 로 잡습니다
xs2 = (np.arange(M2) + 0.5)*h2
w1 = np.where(xs2 <= 1.0, 1.0, 0.0)
cur = w1.copy()
print(" n 최대 밀도 오차 중심(z=0) 밀도 표준정규 0.3989")
for n in range(1, 9):
if n > 1: cur = np.convolve(cur, w1)[:M2]*h2
mu_, sd_ = n*0.5, np.sqrt(n/12.0)
# 표준화한 밀도: f_S(mu + sd z) * sd
zs = np.linspace(-3.0, 3.0, 601)
idx = np.clip(((mu_ + sd_*zs)/h2 - 0.5).astype(int), 0, M2-1)
fz = cur[idx]*sd_
phi = np.exp(-zs*zs/2)/np.sqrt(2*np.pi)
i0 = int(np.argmin(np.abs(zs)))
print(" %7d %18.8f %19.8f %18.8f"
% (n, float(np.abs(fz-phi).max()), fz[i0], phi[i0]))
print(" n 이 커질수록 오차가 줄어듭니다. n=1 의 0.284 에서 빠르게 떨어집니다")
print(" 이것이 143강 중심극한정리이며 05단원의 주제입니다")
# 균등 n 개의 합을 표준화하면 정규에 다가갑니다
# 균등의 평균 0.5, 분산 1/12 이므로 합은 평균 n/2, 분산 n/12 입니다
# n 최대 밀도 오차 중심(z=0) 밀도 표준정규 0.3989
# 1 0.28424329 0.28867513 0.39894228
# 2 0.03106078 0.40824829 0.39894228
# 3 0.02394228 0.37500000 0.39894228
# 4 0.01404493 0.38490012 0.39894228
# 5 0.01231646 0.38662582 0.39894228
# 6 0.01003620 0.38890853 0.39894228
# 7 0.00864370 0.39030098 0.39894228
# 8 0.00754682 0.39139959 0.39894228
# n 이 커질수록 오차가 줄어듭니다. n=1 의 0.284 에서 빠르게 떨어집니다
# 이것이 143강 중심극한정리이며 05단원의 주제입니다
문제 1의 두 표를 나란히 보십시오. 주사위 두 개의 개수가 로 삼각이고, 세 개는 로 더 매끄럽습니다. 합성곱 한 번에 모양이 한 단계 부드러워집니다.
문제 4의 셋째 열과 넷째 열이 이 강의의 경고입니다. 에서 음이항은 인데 기하로 맞추면 로 여덟 배 어긋납니다. "합도 같은 족이겠지"라는 가정이 얼마나 위험한지 보여 줍니다.
문제 5의 표가 05단원으로 가는 다리입니다. 균등분포는 정규와 전혀 다르게 생겼는데 **두 개만 더해도 최대 오차가 **이고 여덟 개면 입니다. 143강에서 이 수렴을 증명합니다.
이 검산에서 함정 하나를 만났습니다. 처음에는 격자를 만 잡았는데, 이면 합의 지지구간 이 격자를 넘어 잘려 나가 의 오차가 에서 로 튀었습니다. 격자를 로 넓히니 단조 감소가 회복되었습니다. 합성곱을 반복할 때 지지구간이 계속 늘어난다는 것을 잊으면 조용히 틀립니다.
정답.
| 기호 | 읽는 법 | 뜻 |
|---|---|---|
| 합성곱 | 독립 합의 밀도입니다 | |
| S_ | 부분합 | 입니다 |
| 재생성 | reproductive property | 합이 같은 족에 남습니다 |
| 어윈홀 분포 | Irwin-Hall | 균등 개의 합입니다 |
| 음이항분포 | negative binomial | 기하 개의 합입니다 |
| 안정분포 | stable distribution | 합이 스케일만 바뀝니다 |
| 복합분포 | compound distribution | 개수가 무작위인 합입니다 |
| 왈드 항등식 | Wald's identity | |
| 유효 표본 크기 | effective sample size | 자기상관을 보정한 개수입니다 |
| 순환 합성곱 | circular convolution | FFT의 함정입니다 |
| 지지구간 | support | 합성곱마다 늘어납니다 |
| 특성 지수 | stability index | 안정분포의 꼬리 두께입니다 |
여기서 04단원 여러 변수의 확률이 끝납니다. 136강에서 결합분포라는 대상을 세우고, 137강에서 조건을 걸고, 138강에서 관계를 재고, 139강에서 변환하고, 140강에서 가장 중요한 다변량 분포를 다루고, 141강에서 합의 분포로 마무리했습니다.
단원 전체가 하나의 주장을 향합니다.
다음 142강부터 05단원 표본과 극한이 시작됩니다. 이 강의의 을 으로 나눈 표본평균이 주인공이며, 에서 무슨 일이 일어나는지를 다룹니다. 135강 문제 5에서 체비쇼프로 약한 큰 수의 법칙을 이미 증명했고, 문제 5에서 정규 수렴을 눈으로 봤습니다. 05단원이 그 둘을 정식화하고 날카롭게 합니다.