이 강의의 목표는 데이터를 가장 그럴듯하게 설명하는 파라미터를 찾는 법을 아주 기초부터 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
θMLE=argθmaxP(D∣θ)
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
| 말 |
뜻 |
| 파라미터 |
모델의 모양을 정하는 값 |
| 추정 |
데이터로 모르는 값을 짐작하는 일 |
| 가능도 |
파라미터가 주어졌을 때 데이터가 그럴듯한 정도 |
| MLE |
가능도를 가장 크게 하는 방법 |
| MAP |
데이터와 사전 믿음을 함께 쓰는 방법 |
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
동전을 10번 던져 앞면이 7번 나왔다면 앞면 확률이 얼마일지 추정하고 싶습니다. 데이터가 지금처럼 나올 가능성을 가장 크게 만드는 값을 찾는 것이 MLE의 감각입니다.
핵심 식을 기호 하나씩 뜯어 읽어 봅니다.
θMLE=argθmaxP(D∣θ)
- θ는 파라미터입니다. 여기서는 동전의 앞면 확률처럼 우리가 모르는 값입니다.
- D는 데이터입니다. 실제로 관찰한 결과입니다.
- P(D∣θ)는 가능도입니다. 파라미터가 θ일 때 데이터 D가 나올 확률입니다.
- argmaxθ는 그 값을 가장 크게 만드는 θ를 고르라는 뜻입니다.
즉 MLE는 "지금 본 데이터가 가장 그럴듯해지는 파라미터"를 고르는 방법입니다. 여기서 관점이 뒤집힌다는 점이 중요합니다. 확률은 θ를 알 때 D를 보는 관점이고, 가능도는 D를 알 때 θ를 점수 매기는 관점입니다.
베이즈 정리는 데이터를 본 뒤 파라미터에 대한 믿음이 어떻게 바뀌는지를 알려 줍니다.
P(θ∣D)=P(D)P(D∣θ)P(θ)
- P(θ)는 사전확률입니다. 데이터를 보기 전에 가진 믿음입니다.
- P(D∣θ)는 가능도입니다.
- P(θ∣D)는 사후확률입니다. 데이터를 본 뒤 갱신된 믿음입니다.
- P(D)는 데이터 전체의 확률로, θ와 무관한 정규화 상수입니다.
MLE는 가능도만 최대로 하는 방법입니다.
θMLE=argθmaxP(D∣θ)
MAP는 가능도에 사전 믿음까지 곱해 최대로 하는 방법입니다. P(D)는 θ와 무관하므로 최대를 찾을 때 무시할 수 있습니다.
θMAP=argθmaxP(D∣θ)P(θ)
즉 MAP는 MLE에 사전확률 P(θ) 항을 더한 것입니다. 사전 믿음이 평평하면 MAP는 MLE와 같아집니다.
우리는 참값을 직접 볼 수 없고 데이터만 봅니다. 그래서 데이터로부터 파라미터를 거꾸로 짐작해야 합니다. MLE는 데이터만으로 짐작하고, MAP는 데이터가 적을 때 사전 믿음으로 보완합니다.
AI 학습이 바로 이 구조입니다. 모델 파라미터를 데이터에 가장 잘 맞도록 고르는 것이 MLE이고, 여기에 가중치가 너무 커지지 않게 하는 규제(regularization)를 더하면 MAP가 됩니다. 규제항은 사전확률 P(θ)에서 나옵니다.
- 모델과 파라미터를 정한다.
- 데이터가 나올 확률, 즉 가능도 P(D∣θ)를 쓴다.
- 곱을 다루기 쉽게 로그가능도로 바꾼다.
- 로그가능도를 θ로 미분해 0이 되는 지점을 찾는다.
- 사전 믿음이 있으면 P(θ)를 곱해 MAP로 확장한다.
이 순서를 말로 설명할 수 있으면, 공식을 완전히 외우지 않아도 다시 만들어 낼 수 있습니다.
문제: 동전을 10번 던져 앞면이 7번 나왔습니다. 앞면 확률 θ의 MLE를 로그가능도 미분으로 구합니다.
풀이:
앞면 확률을 θ라 하면, 앞면 7번과 뒷면 3번이 나올 가능도는 다음과 같습니다.
P(D∣θ)=θ7(1−θ)3
곱을 그대로 미분하기는 번거로우므로 로그를 취합니다. 로그는 증가함수라 최대가 되는 위치는 바뀌지 않습니다.
ℓ(θ)=logP(D∣θ)=7logθ+3log(1−θ)
θ로 미분합니다.
dθdℓ=θ7−1−θ3
최대가 되는 지점에서 미분이 0이므로
θ7−1−θ3=0
입니다. 정리하면
7(1−θ)=3θ⟹7−7θ=3θ⟹7=10θ
따라서
θMLE=107=0.7
입니다. 관찰한 앞면 비율이 그대로 MLE가 된다는 것을 미분으로 확인했습니다.
문제: 동전을 2번 던져 2번 모두 앞면이 나왔습니다. MLE와 MAP를 비교합니다.
풀이:
MLE는 관찰 비율이므로
θMLE=22=1
이 되어, 뒷면이 절대 안 나온다고 단정합니다. 데이터가 2개뿐이라 지나친 결론입니다.
여기서 앞면과 뒷면을 한 번씩 미리 본 셈 치는 사전 믿음을 더하면, MAP는 앞면과 뒷면에 각각 1을 보태 계산합니다.
θMAP=2+1+12+1=43=0.75
MAP는 1이 아니라 0.75로, 극단적인 결론을 완화합니다. 데이터가 많아지면 사전 믿음의 영향은 줄어들어 MAP는 MLE에 가까워집니다.
- 베이즈 정리 P(θ∣D)=P(D)P(D∣θ)P(θ)은 사전 믿음을 데이터로 갱신합니다.
- MLE θMLE=argmaxθP(D∣θ)는 가능도만 최대로 합니다.
- MAP θMAP=argmaxθP(D∣θ)P(θ)는 가능도에 사전 믿음을 더합니다.
- 동전 7/10 데이터에서 로그가능도를 미분하면 θMLE=0.7이 나옵니다.
- 작은 예시에서 계산 순서를 확인하면 큰 모델에서도 같은 구조를 찾을 수 있습니다.
- 확률과 가능도는 관점이 어떻게 다른가?
- MLE가 데이터가 적을 때 흔들릴 수 있는 이유는 무엇인가?
- MAP은 MLE에 무엇을 더하는가?