이 단원은 154강부터 157강까지를 맡습니다. 독립을 버립니다.
06단원까지 관측은 언제나 서로 영향을 주지 않았습니다.
큰 수의 법칙도 중심극한정리도 호에프딩 부등식도 독립을 전제로 세웠고, 149강에서 우도를 곱으로 쓴 것도 독립 덕분이었습니다.
그런데 시간이 들어오면 그 전제가 깨집니다. 오늘의 날씨는 어제와 무관하지 않고, 문장의 다음 단어는 앞 단어에 달려 있으며, 로봇의 다음 위치는 지금 위치에서만 갈 수 있는 곳입니다.
독립을 버리되 최소한만 버립니다. 과거 전체가 아니라 직전 하나만 필요하다는 이 성질이 마르코프 성질이며, 그것만으로 계산이 가능해집니다.
| 강의 | 하는 일 |
|---|---|
| 154 | 마르코프 성질을 세우고 전이행렬로 계산합니다 |
| 155 | 오래 걸으면 어디로 가는지, 얼마나 빨리 가는지 봅니다 |
| 156 | 상태와 시간을 연속으로 만들어 브라운 운동을 얻습니다 |
| 157 | 원하는 분포를 정해 놓고 그것을 만드는 연쇄를 설계합니다 |
마지막 강의에서 방향이 뒤집힙니다. 154강과 155강은 가 주어지고 를 구했는데, 157강은 를 주고 를 만듭니다.
| 어디서 막혔는가 | 무엇이 문제였는가 | 이 단원의 답 |
|---|---|---|
| 150강 | 사후분포의 정규화 상수를 계산할 수 없습니다 | 157강, 비만 쓰므로 약분됩니다 |
| 147강 문제 4 | 에서 기각법 수용률이 2.46\times10^ | 157강, 이전 표본에서 조금씩 움직입니다 |
독립 표본을 포기한 대가로 고차원이 열립니다. 대가는 표본 사이의 상관이며, 142강 심화 2에서 예고한 유효 표본 크기가 실무의 핵심 지표가 됩니다.
| 확률의 개념 | 선형대수의 정체 | 관련 강의 |
|---|---|---|
| 걸음 전이 | 행렬 거듭제곱 | 74강 |
| 정상분포 | 고유값 의 왼쪽 고유벡터 | 84강 |
| 수렴 속도 | 두 번째 고유값 | 85강 |
| 가역 연쇄의 고유값 | 대칭행렬이라 실수 | 86강 |
| 흡수 확률 | 선형계의 해 | 78강 |
| 기본행렬 | , 등비급수 | 18강, 78강 |
둘째 줄이 이 단원의 중심입니다. 확률행렬은 행합이 이라 이므로 고유값 이 반드시 있고 정상분포도 반드시 있습니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
첫째, 마르코프냐는 상태 정의의 문제입니다. 154강 문제 5에서 차 의존 과정을 차로 보면 로그손실이 **정확히 **으로 동전 던지기 수준이 됩니다. 상태를 쌍으로 확장하면 로 이론 엔트로피에 붙습니다.
둘째, 존재와 유일성과 수렴이 각각 다른 조건을 요구합니다. 155강 문제 2에서 유한 상태이면 정상분포는 언제나 있고, 유일성이 기약성을, 의 수렴이 비주기성을 요구하며, 시간평균의 수렴에는 비주기성이 필요 없습니다.
셋째, 차원이 재귀성을 가릅니다. 156강 문제 2에서 는 반드시 돌아오고 은 영영 못 돌아올 수 있습니다. 차원의 복귀 확률이 폴리아 상수 입니다.
넷째, 수용률이 높은 것이 좋은 것이 아닙니다. 157강 문제 2에서 수용률 인 설정이 가장 나쁜 축에 들고, 인 설정이 유효 표본을 아홉 배 냅니다.
첫째, 상세균형은 필요조건이 아닙니다. 155강 문제 5에서 한쪽으로 도는 연쇄가 상세균형을 만큼 위반하는데도 정상분포를 갖습니다. 충분조건일 뿐입니다.
둘째, 브라운 운동의 경로는 미분되지 않습니다. 156강 문제 4에서 이차변동이 정확히 로 고정되고 일차변동이 로 발산합니다. 라 무시할 수 없고, 그것이 이토 미적분의 출발점입니다.
셋째, 한 사슬만 보면 갇힌 것을 알 수 없습니다. 157강 문제 4에서 폭 의 짧은 사슬들이 서로 반대 답을 내는데도 각각은 완벽하게 수렴한 것처럼 보입니다. R-hat이 으로 그것을 잡아냅니다.
| 이 단원의 것 | 어디서 왔는가 |
|---|---|
| 첫걸음 조건화 | 137강 전체 기댓값 법칙 |
| 무기억성의 이산판 | 131강 지수분포 |
| 조건부분포로 깁스 | 140강 문제 4 다변량 정규 |
| 재귀성 판정의 급수 | 18강 급수 |
| 스케일링 극한 | 143강 중심극한정리 |
| 시간평균의 수렴 | 142강 큰 수의 법칙 |
| 유효 표본 크기 | 142강 심화 2, 147강 문제 5 |
| 이토 보정 | 132강 젠센 부등식 |
| 정규화 상수 회피 | 150강의 미완 |
| 다봉에서 갇힘 | 149강 문제 4 |
마지막 줄이 최적화와 표집을 잇습니다. 다봉 우도에서 경사법이 국소 최대에 갇히는 문제와 MCMC가 한 봉우리에 갇히는 문제가 같은 구조이며, 대처도 같습니다. 여러 곳에서 시작합니다.
| 이 단원의 것 | 쓰이는 곳 |
|---|---|
| 마르코프 결정과정 | 274강 강화학습 |
| 벨만 방정식 | 275강, 첫걸음 조건화의 확장 |
| 자기회귀 생성 | 298강 언어모형 |
| 은닉 마르코프 | 414강 |
| 정상분포와 페이지랭크 | 224강 그래프 임베딩 |
| 확률경사하강의 극한 | 236강 |
| 브라운 운동과 확률미분방정식 | 261강 확산모형 |
| 이토 보정 | 261강, 262강 |
| MCMC | 157강, 213강 볼츠만 머신 |
| 랑주뱅 | 261강 점수 기반 생성 |
| 유효 표본 크기 | 288강 오프폴리시 학습 |
| 톰슨 표집 | 278강 밴딧 |
일곱째 줄과 열째 줄이 가장 멀리 갑니다. 확산모형의 순방향 과정이 156강의 확률미분방정식이고, 역방향으로 돌 때 표류에 들어가는 점수함수 가 157강 랑주뱅의 재료와 정확히 같습니다.
첫째와 둘째 줄이 강화학습 전체를 떠받칩니다. 154강 문제 3의 첫걸음 조건화에 보상과 할인율을 더하면 그대로 벨만 방정식이 되며, 문제 3에서 푼 선형계가 정책 평가입니다.
여기서 S6 확률과 통계 전체가 끝납니다. 121강에서 표본공간과 사건을 세우고, 02단원에서 확률을 수직선 위로 옮기고, 03단원에서 분포를 요약하고, 04단원에서 변수 사이의 관계를 다루고, 05단원에서 표본을 늘려 극한을 보고, 06단원에서 방향을 뒤집어 자료로 모수를 맞히고, 07단원에서 시간을 넣어 독립을 버렸습니다.
다음은 관문 4입니다. 121강부터 157강까지를 스스로 점검하고, 통과하면 158강부터 시작하는 S7 데이터 분석의 기초로 넘어갑니다.