이 단원은 148강부터 153강까지를 맡습니다. 방향을 뒤집습니다.
05단원까지 화살표가 한 방향이었습니다.
모수 θ ⟶ 표본 X1,…,Xn
μ와 σ2을 안다고 놓고 표본이 어떻게 흩어지는지 물었습니다. 실제 상황은 정반대입니다.
표본 X1,…,Xn ⟶ 모수 θ
우리가 가진 것은 자료뿐이고 모르는 것이 모수입니다. 이 단원이 그 방향의 질문에 답하며, 05단원의 분포 이론이 여기서 전부 실무 도구가 됩니다.
| 질문 |
답하는 강의 |
| 무엇을 근거로 추정량을 고르는가 |
148 |
| 추정량을 어떻게 만드는가 |
149, 150 |
| 얼마나 믿을 수 있는가 |
151 |
| 예 또는 아니오로 답하려면 |
152 |
| 이 전부를 한 모형에 쓰면 |
153 |
148강이 기준을 세우고 149강이 규칙을 줍니다. 148강에서 U(0,θ)의 추정량 세 개를 비교한 것은 그때그때의 착상이었고, 149강의 최대우도추정이 어떤 모형에도 기계적으로 적용되는 하나의 규칙입니다.
그리고 149강에서 통계가 최적화가 됩니다.
| 통계의 언어 |
최적화의 언어 |
관련 강의 |
| 로그 우도를 최대화 |
목적함수를 최대화 |
107~112강 |
| 점수함수가 0 |
기울기가 0 |
108강 |
| 피셔 정보 |
헤세 행렬 |
109강 |
| 사전분포를 곱함 |
정규화 항을 더함 |
116강 |
넷째 줄이 이 단원에서 가장 값어치 있는 발견입니다.
116강에서 손으로 붙였던 벌점이 150강에서 사전분포로 읽힙니다.
β^MAP=argβmax [자료ℓ(β)+사전logp(β)]
| 사전분포 |
더해지는 항 |
이름 |
| 정규 N(0,τ2I) |
−∥β∥2/(2τ2) |
릿지 |
| 라플라스 |
−∥β∥1/b |
라소 |
| 균등 |
상수 |
최대우도 |
150강 문제 3에서 격자 탐색으로 찾은 MAP가 릿지 닫힌 해와 10−4 수준으로 일치했고, 라플라스 사전이 연성 문턱값 sign(z)max(∣z∣−λ,0)을 정확히 재현했습니다.
왜 하필 제곱합인지, 왜 절댓값이 계수를 정확히 0으로 만드는지가 이 대응으로 설명됩니다. 절댓값 밀도가 0에서 미분되지 않는다는 사실이 그대로 나타난 것입니다.
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
첫째, 불편성은 목표가 아닙니다. 148강 문제 2에서 평균제곱오차를 최소로 만드는 n+1n+2maxXi가 불편이 아니었습니다. 편향을 조금 받아들이고 분산을 더 줄이는 거래이며, 210강의 편향-분산 분해와 211강의 정규화가 같은 거래를 훨씬 큰 규모로 합니다.
둘째, 정보가 아니라 정보의 질입니다. 148강 문제 1에서 관측 하나만 쓴 nn+1maxXi가 전부를 쓴 2Xˉ를 7.4배 이겼습니다. 최댓값이 충분통계량이라 정보를 하나도 버리지 않았기 때문입니다.
셋째, p=0.05는 생각보다 약한 증거입니다. 152강 문제 3에서 최소 베이즈 인자를 계산하니 어떤 대립가설을 놓아도 H0이 참일 확률이 28.9% 아래로 내려가지 않았습니다.
첫째, 불편성과 일치성은 서로를 함의하지 않습니다. 148강 문제 4에서 X1은 완벽한 불편추정량인데 n을 만 배 늘려도 정확도가 그대로였습니다.
둘째, 모형이 틀리면 오차 막대가 먼저 무너집니다. 149강 문제 5에서 추정값은 KL 최소점으로 멀쩡히 갔는데, **정규 모형이 말하는 표준오차가 실제의 28%**였습니다. 샌드위치 분산이 1.04배로 맞췄습니다.
셋째, "평평하면 무정보"가 아닙니다. 150강 문제 4에서 무정보 사전 세 가지가 n=4에서 MAP를 0.000005부터 0.333333까지 흩뿌렸습니다. 어느 좌표에서 평평할지를 고르는 일 자체가 정보입니다.
넷째, 흔히 쓰는 구간이 명목값을 크게 밑돕니다. 151강 문제 2에서 발트 구간이 p=0.05, n=20에서 **63.9%**였고, n=200에서도 92.6%로 회복되지 않았습니다.
다섯째, 많이 보면 반드시 틀린 것이 나옵니다. 152강 문제 5에서 보정 없이 1000개를 검정하니 발견 96.8개 중 47.1개가 거짓이었고, 한 번이라도 틀릴 확률이 100%였습니다.
| 이 단원의 것 |
어디서 왔는가 |
| 약한 큰 수의 법칙 |
142강, 일치성의 근거 |
| 점근 정규성 |
143강 중심극한정리 |
| 델타 방법 |
143강 문제 5, 함수의 구간 |
| 자유도와 코크런 분해 |
144강 심화 1, 회귀의 잔차분산 |
| t분포 |
145강, 계수와 평균의 구간 |
| χ2분포 |
145강, 분산의 구간과 우도비 |
| F분포 |
145강, 여러 계수의 검정 |
| 합집합 상한 |
146강 문제 4, 다중 비교 |
| 부트스트랩 |
147강, 이론이 없는 구간 |
| 글리벤코-칸텔리 |
142강 문제 5, 부트스트랩의 근거 |
넷째 줄이 153강의 뼈대입니다. Rn을 열공간 p+1차원과 직교여공간 n−p−1차원으로 쪼개면, 앞쪽이 β^이고 뒤쪽이 잔차제곱합이며 직교하므로 독립입니다. 그 독립성이 t검정과 F검정을 가능하게 합니다.
151강 심화 1과 152강 심화 1이 같은 관계를 다른 방향에서 씁니다.
C(x)={θ0: H0:θ=θ0 를 기각하지 않음}
| 검정 |
대응하는 구간 |
| t검정 |
t 구간 |
| 점수 검정 |
윌슨 구간 |
| 정확 이항 검정 |
클로퍼-피어슨 구간 |
| 우도비 검정 |
프로파일 우도 구간 |
| 발트 검정 |
발트 구간 |
둘째 줄과 다섯째 줄이 151강 문제 2를 설명합니다. 윌슨 구간이 발트 구간보다 나은 것은 점수 검정이 발트 검정보다 나은 것과 같은 사실입니다.
- 이 단원은 148,149,150,151,152,153강 순서로 읽어야 합니다.
- 01단원부터 05단원까지(121~147강) 전체가 전제입니다.
- 125강의 베이즈 정리가 150강에서 모수에 적용됩니다.
- 132강의 선형성과 133강의 분산이 148강의 편향과 분산 계산입니다.
- 137강의 전체 분산 법칙이 148강 라오-블랙웰 정리의 증명입니다.
- 144강의 자유도와 독립성이 153강 회귀 추론의 전제입니다.
- 145강의 세 분포가 151강과 152강과 153강에서 그대로 쓰입니다.
- 107~112강의 최적화가 149강 최대우도추정의 계산 도구입니다.
- 109강의 헤세 행렬이 148강의 피셔 정보가 됩니다.
- 116강의 정규화가 150강에서 사전분포로 읽힙니다.
- 82강의 최소제곱과 80강의 정사영이 153강의 기하입니다.
- 점추정과 좋은 추정량의 조건
- 최대우도추정
- 사전분포와 최대사후추정
- 신뢰구간
- 가설검정
- 선형회귀의 통계적 해석
-
- 점추정과 좋은 추정량의 조건
여러 추정량 중 무엇을 고를지의 기준을 세웁니다. 편향과 분산과 평균제곱오차를 나누고, 불편성이 목표가 아님을 반례로 보이며, 피셔 정보와 크라메르-라오 하한으로 효율을 재고, 충분통계량과 라오-블랙웰 정리로 추정량을 개선합니다.
-
- 최대우도추정
자료가 나올 확률이 가장 큰 모수를 고르는 하나의 규칙을 세웁니다. 로그를 쓰는 두 이유를 밝히고, 148강의 네 기준으로 채점하며, 불변성과 점근 효율을 확인하고, 해가 유일하지 않거나 없는 경우와 모형이 틀렸을 때 어디로 가는지를 다룹니다.
-
- 사전분포와 최대사후추정
베이즈 정리를 모수에 적용해 사전 지식을 넣습니다. 켤레사전분포로 사후를 공식으로 쓰고, 사전분포가 정규화 항이 되는 대응을 확인하며, 사전의 영향력을 유효 표본 크기로 재고, 최대사후추정이 재모수화에 불변이 아님을 보입니다.
-
- 신뢰구간
추정값에 불확실성을 붙입니다. 확률이 절차에 붙는다는 해석을 분명히 하고, 비율의 네 가지 구간을 정확히 채점하며, 부트스트랩으로 이론이 없는 양을 다루고, 변환의 효과와 다중 구간의 보정을 계산합니다.
-
- 가설검정
결정의 언어로 옮깁니다. 두 종류의 오류를 나누고, 네이만-피어슨 보조정리로 최강력 검정을 찾으며, p값의 정확한 뜻과 흔한 오해를 바로잡고, 검정력에 맞춰 표본을 설계하며, 다중 검정에서 무엇을 통제할지 고릅니다.
-
- 선형회귀의 통계적 해석
이 단원의 도구를 하나의 모형에 모두 적용합니다. 계수의 분포와 잔차분산의 자유도를 세우고, t검정과 F검정으로 계수를 판정하며, 다중공선성이 무엇을 무너뜨리는지 정량화하고, 계수를 인과로 읽을 때의 조건을 밝힙니다.
- 불편성만 보고 추정량을 고르고 있지 않은가?
- 관측을 다 쓰면 언제나 낫다고 생각하고 있지 않은가?
- 불편성과 일치성을 혼동하고 있지 않은가?
- 크라메르-라오 하한을 정규 조건 없이 쓰고 있지 않은가?
- 우도를 곱으로 계산하고 있지 않은가?
- 미분해서 0으로 놓기만 하고 경계를 보지 않았는가?
- 국소 최대를 전역 최대라고 믿고 있지 않은가?
- 모형이 맞다고 가정한 표준오차를 그대로 쓰고 있지 않은가?
- 사전분포의 유효 표본 크기를 확인했는가?
- "평평한 사전이면 무정보"라 생각하고 있지 않은가?
- MAP가 재모수화에 불변이라고 착각하지 않았는가?
- 신뢰구간을 "참값이 있을 확률"로 읽고 있지 않은가?
- 비율에 발트 구간을 쓰고 있지 않은가?
- 총 포함률만 보고 꼬리 균형을 보지 않았는가?
- "유의하지 않다"를 "효과가 없다"로 읽고 있지 않은가?
- p값을 H0이 참일 확률로 읽고 있지 않은가?
- 검정력을 미리 정하지 않고 실험을 시작하지 않았는가?
- 여러 검정을 보정 없이 보고하고 있지 않은가?
- m을 보고한 개수로 세고 있지 않은가?
- 회귀 자유도를 n−1로 쓰고 있지 않은가?
- R2으로 모형을 고르고 있지 않은가?
- 다중공선성을 확인하고 계수를 해석하는가?
- 회귀계수를 인과로 읽고 있지 않은가?
- 여러 추정량의 편향, 분산, 평균제곱오차를 계산해 비교할 수 있습니다.
- 불편성이 최선이 아님을 반례로 설명할 수 있습니다.
- 피셔 정보와 크라메르-라오 하한으로 효율을 판정할 수 있습니다.
- 일치성을 확인하고 불편성과 구별할 수 있습니다.
- 충분통계량을 찾고 라오-블랙웰 정리로 개선할 수 있습니다.
- 주요 모형의 최대우도추정량을 유도할 수 있습니다.
- 로그 우도를 쓰는 두 이유를 설명할 수 있습니다.
- 최대우도추정량의 점근 분포와 불변성을 쓸 수 있습니다.
- 해가 유일하지 않거나 발산하는 경우를 판정할 수 있습니다.
- 모형이 틀렸을 때 추정량이 어디로 가는지 설명할 수 있습니다.
- 사전분포와 우도를 결합해 사후분포를 계산할 수 있습니다.
- 켤레사전분포를 알아보고 사후를 공식으로 쓸 수 있습니다.
- 정규화 항을 사전분포로 읽을 수 있습니다.
- 사전의 영향력을 유효 표본 크기로 잴 수 있습니다.
- 신용구간을 구하고 신뢰구간과 구별할 수 있습니다.
- 신뢰구간이 무엇을 보장하는지 정확히 진술할 수 있습니다.
- 비율의 여러 구간을 비교하고 상황에 맞게 고를 수 있습니다.
- 부트스트랩으로 이론 분포가 없는 양의 구간을 만들 수 있습니다.
- 델타 방법과 변환으로 함수의 구간을 얻을 수 있습니다.
- 두 종류의 오류를 구분하고 검정력을 계산할 수 있습니다.
- 네이만-피어슨 보조정리로 최강력 검정을 찾을 수 있습니다.
- p값을 정확히 정의하고 오해를 바로잡을 수 있습니다.
- 목표 검정력에 맞춰 표본 크기를 설계할 수 있습니다.
- 다중 검정에서 무엇을 통제할지 고르고 보정할 수 있습니다.
- 회귀계수의 분포를 쓰고 t검정과 F검정을 할 수 있습니다.
- 결정계수와 조정 결정계수의 차이를 설명할 수 있습니다.
- 다중공선성의 영향을 분산 팽창 인자로 정량화할 수 있습니다.
- 생략변수 편향을 계산하고 인과 해석의 조건을 말할 수 있습니다.
| 이 단원의 것 |
쓰이는 곳 |
| 편향-분산 거래 |
210강 편향과 분산의 분해 |
| 최대우도 |
205강 로지스틱, 249강 교차엔트로피, 298강 언어모형 |
| 음의 로그 우도 |
204강 손실함수의 유도 |
| 피셔 정보 |
253강 자연 그래디언트 |
| 사전분포와 정규화 |
211강 L1과 L2 정규화 |
| 켤레와 평활화 |
204강 나이브 베이즈 |
| 사후분포 |
157강 MCMC, 262강 변분추론 |
| 신뢰구간 |
209강 평가지표, 216강 밴딧 |
| 부트스트랩 |
212강 교차검증과 추정의 분산 |
| 다중 비교 |
212강 모델 선택, 214강 일반화 |
| 검정력 설계 |
173~177강 조사 설계 |
| 회귀의 자유도 |
244강 배치 정규화 |
| 다중공선성 |
216강 특징선택 |
| 생략변수 편향 |
177강 관측 데이터의 함정 |
둘째 줄과 셋째 줄이 가장 멀리 갑니다. 오늘날 가장 큰 규모의 최대우도추정이 언어모형의 학습이며, 목표함수 −∑logp(xt∣x<t)가 141강의 곱셈법칙과 149강의 최대우도가 만난 자리입니다.
다섯째 줄이 실무에서 매일 쓰입니다. 딥러닝의 가중치 감쇠가 정규 사전의 최대사후추정이며, 손으로 정한 하이퍼파라미터가 사실은 믿음의 세기입니다.
마지막 줄이 가장 조심해야 할 자리입니다. 모델의 특징 중요도를 인과로 읽는 순간 153강 문제 5의 함정이 그대로 재현되며, 어떤 변수를 넣고 뺐는지가 정당해야 그 해석이 성립합니다.
154강부터 시작하는 07단원 확률과정은 독립을 버립니다.
이 단원까지 관측은 모두 독립이었습니다. 다음 단원은 시간을 넣습니다.
| 강의 |
하는 일 |
| 154 |
마르코프 연쇄 |
| 155 |
정상분포와 극한 |
| 156 |
연속시간 과정과 확산 |
| 157 |
마르코프 연쇄 몬테카를로 |
147강 문제 4에서 고차원 기각법이 무너진 자리를 07단원이 메웁니다. 차원이 20이면 수용률이 2.46×10−8이라 독립 표본을 뽑을 수 없는데, 마르코프 연쇄는 이전 표본에서 조금씩 움직여 그 문제를 피합니다.
대가가 표본 사이의 상관이며, 142강 심화 2의 유효 표본 크기와 147강 문제 5의 진단이 그대로 필요합니다.
그리고 150강의 사후분포가 07단원에서 실제로 계산됩니다. 켤레가 아니면 격자로도 감당할 수 없는데, MCMC가 그 벽을 넘습니다.