이 단원은 201강부터 204강까지를 맡습니다. 재는 자를 만듭니다.
S8이 물은 것은 **"무엇이 참인가"**였습니다. S9가 묻는 것은 다릅니다.
그런데 그 물음에 답하려면 정보의 양을 재는 자부터 있어야 합니다. 이 단원이 그 자를 만들고, 마지막에 손실함수가 거기서 유도되어 나오는 것을 보입니다.
| 강의 | 하는 일 |
|---|---|
| 하나의 분포가 가진 불확실성을 잽니다 | |
| 두 변수가 서로에 대해 말해 주는 양을 잽니다 | |
| 두 분포가 얼마나 어긋나 있는지 잽니다 | |
| 그 어긋남을 손실함수로 씁니다 |
네 강이 하나의 줄기입니다. 정보량에서 시작해 손실함수에 도착하며, 중간에 끊기는 자리가 없습니다.
| 무엇을 가정하나 | 어떤 손실이 나오나 | 무엇을 추정하나 |
|---|---|---|
| 정규 | 제곱오차 | 조건부 평균 |
| 라플라스 | 절대오차 | 조건부 중앙값 |
| 베르누이 | 이진 교차엔트로피 | 조건부 확률 |
| 다항 | 소프트맥스 교차엔트로피 | 조건부 확률 벡터 |
| 비대칭 벌 | 분위 손실 | 조건부 분위수 |
"제곱오차를 쓴다"는 말이 "잡음이 정규다"라는 가정과 같은 말입니다. 204강 문제 4에서 로그정규 자료의 최적 상수가 와 으로 갈렸는데, 그것이 손실 선택의 무게입니다.
| 어디서 | 무엇으로 읽히나 |
|---|---|
| 강 | 참 분포로 부호를 만들 때의 하한 |
| 강 문제 | 틀린 분포로 만들면 더 쓰는 양 |
| 강 문제 | 최대우도가 줄이는 대상 |
| 강 | 분류 손실 그 자체 |
203강 문제 1에서 "더 쓴 양"이 정확히 KL과 같았습니다. 과 과 이 그 확인입니다.
| 무엇이 문제 | 어디서 | 크기 |
|---|---|---|
| 엔트로피 추정 치우침 | 강 문제 | 가짓수 에 표본 이면 비트 |
| 상호정보량의 칸 개수 | 강 문제 | 칸을 늘리면 독립 자료도 |
| 표본이 작을 때 | 강 문제 | 표본 에 |
| 가짓수가 클 때 | 강 문제 | 무관한 변수가 |
| KL 문턱 | 강 문제 | 표본 의 분위가 |
다섯 줄이 모두 같은 원인입니다. 칸이나 가짓수에 견줘 표본이 모자라면 없는 구조가 보입니다.
대응도 하나입니다. 같은 조건에서 잰 기준선과 견주는 것이며, 179강 문제 3의 순열검정과 같은 발상입니다.
| 무엇 | 대칭인가 | 그래서 |
|---|---|---|
| 상호정보량 | 예 | 인과 방향을 못 정합니다 |
| KL 발산 | 아니오 | 어느 방향이냐가 근사를 바꿉니다 |
203강 문제 2에서 같은 자료를 두 방향으로 근사했더니 평균 에 표준편차 인 답과 평균 에 표준편차 인 답이 나왔습니다.
하나는 두 봉우리를 다 덮고 하나는 한 봉우리에 붙습니다. 생성모형이 흐릿한 결과를 내는 이유가 여기 있습니다.
| 이 단원의 개념 | 어디서 배웠는가 |
|---|---|
| 젠센 부등식 | 강, 강 문제 , 강 문제 |
| 라그랑주 승수 | 강, 강 문제 |
| 최대우도 | 강, 강 문제 |
| 교란과 충돌부 | 강, 강 문제 |
| 상관과 독립 | 강, 강 문제 |
| 다중비교 | 강, 강 문제 |
| 부동소수점 | 강, 강 문제 |
| 더미변수 함정 | 강, 강 문제 |
| 평균과 중앙값 | 강, 강 문제 |
| 분위 예측 | 강 심화 , 강 문제 |
| 피셔 정보 | 강, 강 심화 |
넷째 줄이 눈에 띕니다. 202강 문제 3의 두 줄이 정확히 177강의 교란과 충돌부인데, 여기서는 그것이 조건부 독립이라는 확인 가능한 관계로 나타났습니다.
02단원은 이 손실을 실제로 최소화합니다.
경험적 위험 최소화라는 틀을 세우고, 선형회귀와 로지스틱 회귀와 소프트맥스 회귀를 처음부터 유도합니다. 204강 심화 1과 2에서 미리 본 기울기 식이 그 출발점이며, 학습이라는 것이 결국 최적화 문제 하나임을 보입니다.