이 단원은 136강부터 141강까지를 맡습니다. 차원을 올려 관계를 다룹니다.
03단원까지 확률변수는 언제나 하나였습니다. 하나의 변수에 대해 분포를 세우고 기댓값과 분산으로 요약했으며, 그것으로 할 수 있는 일이 이미 많았습니다.
그런데 현실의 질문은 거의 언제나 둘 이상을 함께 묻습니다. 키를 알면 몸무게를 얼마나 좁힐 수 있는지, 어제의 주가가 오늘에 무엇을 남기는지, 입력 x가 정답 y를 얼마나 결정하는지가 그렇습니다. 이 질문들은 하나짜리 분포로는 쓸 수조차 없습니다.
주변분포의 목록 = 결합분포
차이에 들어 있는 것이 관계이며, 이 단원 전체가 그 차이를 다룹니다.
| 강의 |
관계를 무엇으로 다루는가 |
| 136 |
결합분포로 관계를 담습니다 |
| 137 |
조건을 걸어 관계를 꺼냅니다 |
| 138 |
관계의 세기를 하나의 수로 잽니다 |
| 139 |
관계를 유지한 채 좌표를 바꿉니다 |
| 140 |
관계가 가장 다루기 쉬운 분포를 세웁니다 |
| 141 |
관계가 없을 때 합이 어떻게 되는지 봅니다 |
140강이 이 단원의 정점입니다. 136강부터 139강까지 미뤄 둔 약속 두 개가 140강에서 한꺼번에 갚아집니다.
| 미룬 자리 |
미룬 내용 |
갚는 자리 |
결과 |
| 138강 문제 3 |
무상관이 독립을 뜻하지 않지만 정규분포는 예외라고 했습니다 |
140강 문제 3 |
대각 Σ에서 결합밀도가 주변밀도의 곱과 정확히 같습니다 |
| 137강 문제 5 |
조건부기댓값이 "거의 선형"으로 보였습니다 |
140강 문제 4 |
E[X2∣X1=x1]=−2.5+0.5x1이며 오차가 1.45×10−9입니다 |
둘째 줄이 특히 중요합니다. 조건부기댓값이 정확히 직선이면 ρ2=η2가 되어, 138강의 상관계수가 관계를 하나도 놓치지 않습니다. 상관계수가 선형관계만 잡는다는 한계가 이 분포에서는 한계가 아닙니다.
여기에 조건부분산도 따라옵니다.
Var(X2∣X1=x1)=2.000000
어느 x1에서도 같습니다. 87강 이차형식의 슈어 여원이 그대로 나타난 것이며, 조건을 걸어 줄어든 불확실성의 양이 조건 값과 무관합니다.
141강이 이 단원을 닫습니다. 관계가 없을 때, 즉 독립일 때 합의 분포가 합성곱으로 정해집니다.
fX+Y(z)=∫fX(x)fY(z−x)dx
그런데 적률생성함수를 쓰면 합성곱이 곱셈이 됩니다. 134강에서 이미 본 구조이며, 재생성이 성립하는 족에서는 계산이 한 줄로 끝납니다.
| 합 |
결과 |
수치 차이 |
| Pois(2)+Pois(3) |
Pois(5) |
1.78\times10^ |
| Gam(2,1)+Gam(3,1) |
Gam(5,1) |
1.78\times10^ |
| \chi^{2}_{3}+\chi^{2}_ |
\chi^{2}_ |
0 |
| N(1,2)+N(−1,3) |
N(0,5) |
0 |
닫히지 않는 족이 더 많다는 사실도 함께 배웁니다. 기하분포 둘을 더하면 기하분포가 아니라 음이항분포가 되며, k=20에서 참값 0.0027845873과 기하분포로 억지로 맞춘 값 0.0003419669가 8배 차이 납니다. 족이 닫힌다고 가정하고 계산하면 꼬리에서 크게 틀립니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원은 새 수학을 거의 만들지 않습니다. 앞에서 세운 도구를 확률의 대상에 쓸 뿐입니다.
| 이 단원의 개념 |
정체 |
어디서 배웠는가 |
| 결합밀도의 부피 |
이중적분 |
103~106강 |
| 주변화 |
반복적분의 안쪽 |
104강 |
| 변수변환의 야코비 |
편도함수 행렬식 |
105강 |
| 선형변환의 배율 |
∣detA∣ |
74강 |
| 공분산행렬 |
대칭 양반정부호 행렬 |
86강, 87강 |
| 다변량 정규의 지수 |
이차형식 |
87강 |
| 등고선 타원의 축 |
고유벡터와 고유값 |
85강, 89강 |
| 조건부분산 |
슈어 여원 |
87강 |
| 조건부기댓값 |
정사영 |
80강, 82강 |
| 합의 분포 |
합성곱 |
58강, 134강 |
아홉째 줄이 이 단원에서 가장 깊습니다. 확률변수를 벡터로 보고 E[XY]를 내적으로 보면, E[Y∣X]는 X로 만들 수 있는 함수들의 공간 위로의 정사영입니다. 80강의 정사영과 82강의 최소제곱이 확률의 언어로 그대로 다시 나타납니다.
첫째, 주변분포를 다 알아도 결합분포는 정해지지 않습니다. 136강 문제 2에서 같은 주변분포를 갖는 서로 다른 결합분포를 만들었습니다. 관계는 주변에 남지 않습니다.
둘째, 무상관은 독립이 아닙니다. 138강 문제 3의 Y=X2에서 상관계수가 0인데 Y는 X로 완전히 결정됩니다. 상관계수는 선형관계만 잽니다. 정규분포가 예외인 이유는 140강 문제 3에서야 밝혀집니다.
셋째, 주변분포가 모두 정규여도 결합분포가 정규가 아닐 수 있습니다. 140강 문제 3의 W=SZ가 그 예입니다. 부호 S를 곱해 만든 두 성분은 각각 정규이고 서로 무상관인데 독립이 아닙니다. "각 성분이 정규"는 다변량 정규의 정의가 아닙니다.
넷째, 반복 합성곱에서 지지구간이 자랍니다. 141강 문제 5에서 ∑i=1nUi의 지지구간이 [0,n]인데 격자를 [0,4]로 잡았더니 n≥5부터 꼬리가 잘려 최대 오차가 0.0100에서 0.149로 튀었습니다. 수렴해야 할 수열이 갑자기 커지면 이론이 아니라 격자를 먼저 의심합니다.
- 이 단원은 136,137,138,139,140,141강 순서로 읽어야 합니다.
- 01단원부터 03단원까지(121~135강) 전체가 전제입니다.
- 124강의 독립이 136강 문제 3에서 결합분포의 곱 구조로 다시 정의됩니다.
- 132강 심화 3의 조건부기댓값이 137강의 주제가 됩니다.
- 133강 문제 3에서 미리 쓴 공분산 항이 138강에서 정식화됩니다.
- 134강의 적률생성함수가 141강 문제 3의 도구입니다.
- 103~106강의 다중적분이 136강과 139강의 계산 도구입니다.
- 105강의 야코비 행렬식이 139강 문제 1의 핵심입니다.
- 86강 스펙트럼 정리와 87강 이차형식이 140강의 뼈대입니다.
- 89강의 주성분분석이 140강 문제 5의 타원 축으로 나타납니다.
- 131강 문제 4의 지수분포가 140강 문제 5에서 χ22의 정체로 돌아옵니다.
- 결합분포와 주변분포
- 조건부분포와 조건부기댓값
- 공분산과 상관계수
- 확률변수의 변환
- 다변량 정규분포
- 독립인 확률변수 합의 분포
-
- 결합분포와 주변분포
두 변수를 함께 담는 결합분포를 세우고 주변분포를 합과 적분으로 얻습니다. 주변분포만으로는 결합분포가 정해지지 않음을 반례로 보이고, 독립이 결합분포의 곱 구조임을 확인하며, 연속에서 이중적분으로 확률을 재는 법을 다룹니다.
-
- 조건부분포와 조건부기댓값
조건을 걸어 결합표에서 한 줄을 꺼내 다시 정규화합니다. E[Y∣X]가 수가 아니라 확률변수임을 밝히고, 전체 기댓값 법칙과 전체 분산 법칙을 세우며, 조건부기댓값이 제곱오차를 최소화하는 예측임을 보입니다.
-
- 공분산과 상관계수
함께 움직이는 정도를 공분산으로 재고 단위를 없애 상관계수를 만듭니다. 상관이 0이어도 관계가 있을 수 있음과 상관계수가 같아도 모양이 전혀 다를 수 있음을 보이고, 여러 변수의 공분산행렬이 대칭 양반정부호임을 확인합니다.
-
- 확률변수의 변환
좌표를 바꿀 때 야코비 행렬식이 붙는 이유를 밝힙니다. 선형변환에서 ∣detA∣ 하나로 끝남을 보이고, 박스뮐러로 균등난수에서 정규난수를 만들며, 하나만 필요할 때 나머지를 주변화하는 방법과 변환의 합성을 다룹니다.
-
- 다변량 정규분포
지수 안의 이차형식을 읽고 정규화상수를 확인합니다. 촐레스키 분해로 이 분포를 만들고, 무상관이 독립을 뜻함을 확인해 138강의 약속을 갚으며, 조건부분포가 정확히 선형임과 등고선이 고유벡터 방향의 타원임을 보입니다.
-
- 독립인 확률변수 합의 분포
이산과 연속에서 합의 분포가 합성곱임을 세웁니다. 적률생성함수로 합성곱을 곱셈으로 바꿔 재생성 족을 판정하고, 닫히지 않는 예로 기하와 음이항을 보이며, 균등의 합이 정규로 다가가는 것을 확인해 05단원을 예고합니다.
- 주변분포를 모두 알면 결합분포를 안다고 생각하고 있지 않은가?
- 결합확률을 더할 때 어느 변수로 더하는지 헷갈리지 않았는가?
- 독립을 확인하지 않고 곱으로 쓰고 있지 않은가?
- 연속에서 밀도값을 확률로 읽고 있지 않은가?
- E[Y∣X]를 하나의 수로 다루고 있지 않은가?
- 전체 기댓값 법칙에서 바깥 기댓값을 빠뜨리지 않았는가?
- 조건부분산의 평균만 보고 전체 분산이라 하고 있지 않은가?
- 상관계수가 0이라고 독립이라 결론짓고 있지 않은가?
- 상관계수만 보고 자료의 모양을 짐작하고 있지 않은가?
- 변수변환에서 야코비 행렬식을 빠뜨리지 않았는가?
- 야코비를 붙일 때 역변환의 것을 쓰고 있는지 확인했는가?
- 각 성분이 정규라는 이유로 다변량 정규라 하고 있지 않은가?
- 조건부분산이 조건 값에 따라 변한다고 가정하고 있지 않은가?
- 합의 분포를 구하며 독립을 확인했는가?
- 분포족이 합에 닫힌다고 근거 없이 가정하고 있지 않은가?
- 수치 합성곱에서 격자가 합의 지지구간을 덮는지 확인했는가?
- 이산과 연속에서 결합분포를 세우고 주변분포를 얻을 수 있습니다.
- 주변분포가 같은 서로 다른 결합분포를 직접 만들 수 있습니다.
- 결합분포에서 독립을 판정할 수 있습니다.
- 이중적분으로 영역의 확률을 계산할 수 있습니다.
- 조건부분포를 구하고 정규화가 왜 필요한지 설명할 수 있습니다.
- 조건부기댓값을 확률변수로 다루고 전체 기댓값 법칙을 쓸 수 있습니다.
- 전체 분산 법칙으로 분산을 집단 내와 집단 간으로 나눌 수 있습니다.
- 조건부기댓값이 최소제곱 예측임을 정사영으로 설명할 수 있습니다.
- 공분산과 상관계수를 계산하고 단위 무관성을 설명할 수 있습니다.
- 무상관과 독립을 구분하고 반례를 들 수 있습니다.
- 공분산행렬을 세우고 양반정부호임을 확인할 수 있습니다.
- 야코비 행렬식으로 다변수 변환의 밀도를 구할 수 있습니다.
- 박스뮐러로 정규난수를 생성할 수 있습니다.
- 다변량 정규분포의 밀도를 이차형식으로 읽을 수 있습니다.
- 촐레스키 분해로 원하는 공분산의 정규표본을 만들 수 있습니다.
- 다변량 정규의 조건부분포를 평균과 분산까지 쓸 수 있습니다.
- 등고선 타원의 축 방향과 축비를 고유값으로 계산할 수 있습니다.
- 합성곱으로 독립 합의 분포를 구할 수 있습니다.
- 적률생성함수로 분포족의 재생성을 판정할 수 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 결합분포와 독립 |
144강 표본분포, 213강 확률그래프모형 |
| 조건부분포 |
148강 우도, 298강 자기회귀 언어모형 |
| 조건부기댓값 |
205강 회귀, 274강 벨만 방정식 |
| 전체 분산 법칙 |
210강 편향-분산 분해 |
| 공분산행렬 |
89강 주성분분석, 240강 초기화 |
| 상관과 독립의 구분 |
216강 특징선택, 인과추론 |
| 야코비 행렬식 |
262강 정규화흐름 |
| 다변량 정규 |
152강 다변량 추론, 261강 확산모형 |
| 정밀도행렬 |
213강 가우시안 그래프모형 |
| 합성곱과 재생성 |
145강 표본분포, 147강 몬테카를로 |
| 합의 정규 수렴 |
143강 중심극한정리 |
일곱째 줄이 생성모형으로 이어집니다. 139강의 야코비 하나가 정규화흐름의 전부이며, 단순한 분포에서 뽑은 표본을 가역변환으로 밀어 넣고 밀도에 ∣detJ∣를 곱해 복잡한 분포를 만듭니다.
여덟째 줄이 가장 멀리 갑니다. 확산모형은 자료에 정규잡음을 단계마다 더한 뒤 그 과정을 시간 역방향으로 되돌리는데, 각 단계의 조건부분포가 다변량 정규이고 그 평균이 140강 문제 4의 선형식과 같은 꼴입니다.
142강부터 시작하는 05단원 표본과 극한은 개수를 늘립니다.
이 단원에서 변수를 둘로 늘렸고, 다음 단원은 독립인 변수를 n개로 늘려 n→∞를 봅니다.
| 강의 |
하는 일 |
| 142 |
큰 수의 법칙 |
| 143 |
중심극한정리 |
| 144 |
표본평균과 표본분산 |
| 145 |
카이제곱, t, F 분포 |
| 146 |
집중 부등식 |
| 147 |
몬테카를로 방법 |
141강 문제 5가 이미 그 답을 보여 주었습니다. 균등분포를 n개 더해 표준화한 밀도가 표준정규와 얼마나 다른지 재었더니 최대 오차가 0.28424329에서 0.00754682로 단조 감소했습니다. n=2에서 이미 0.031이며, 매우 빠릅니다.
이 현상이 143강의 중심극한정리이고, 그 증명 도구는 134강의 적률생성함수와 58강의 푸리에 변환입니다. 05단원은 이 단원과 03단원이 만나는 자리입니다.