201강부터 204강까지를 섞어 묻습니다. 모두 문항이며 다섯 부분으로 나뉩니다.
| 부분 | 범위 | 문항 |
|---|---|---|
| 1부 | 엔트로피와 압축 | ~ |
| 2부 | 두 변수의 관계 | ~ |
| 3부 | KL 발산 | ~ |
| 4부 | 손실함수의 유도 | ~ |
| 5부 | 추정의 함정과 실무 | ~ |
합격선은 문항입니다. 이 단원은 손실함수가 고르는 것이 아니라 유도되는 것이라는 사실이 핵심입니다. 특히 교차엔트로피가 엔트로피와 KL의 합인 것, KL의 방향이 근사의 모양을 바꾸는 것, 칸 개수와 가짓수가 만드는 추정 치우침, 분포 가정과 손실의 대응은 반드시 손으로 설명할 수 있어야 합니다.
문제 1. 정보량을 식으로 쓰고 왜 로그인지 쓰세요.
답. 이며 독립인 사건의 정보량이 더해져야 하기 때문입니다.
문제 2. 검산에서 확률 의 정보량을 쓰세요.
답. 비트입니다.
문제 3. 검산에서 다섯 분포의 엔트로피를 쓰세요.
답. , , , , 입니다.
문제 4. 허프만 부호의 초과분 상한을 쓰세요.
답. 비트를 넘지 않습니다.
문제 5. 검산에서 를 에서 로 늘릴 때 초과분을 쓰세요.
답. , , , 입니다.
문제 6. 검산에서 네 개씩 묶어 부호화했을 때의 기호당 비트를 쓰세요.
답. 이며 하한은 입니다.
문제 7. 세 단위 이름과 밑을 쓰세요.
답. 밑 는 비트, 밑 는 내트, 밑 은 디짓입니다.
문제 8. 미분 엔트로피가 이산과 다른 점 둘을 쓰세요.
답. 음수가 될 수 있고 눈금을 바꾸면 값이 달라집니다.
문제 9. 검산에서 칸 폭 일 때의 이산 엔트로피와 보정한 값을 쓰세요.
답. 과 입니다.
문제 10. 평균과 분산만 알 때 엔트로피를 최대로 하는 분포를 쓰고 검산 값을 쓰세요.
답. 정규분포이며 미분 엔트로피가 으로 넷 중 가장 큽니다.
문제 11. 사슬 규칙을 쓰세요.
답. 입니다.
문제 12. 검산에서 네 결합분포의 상호정보량을 쓰세요.
답. , , , 입니다.
문제 13. 검산에서 강한 의존의 조건부 엔트로피를 쓰세요.
답. 입니다.
문제 14. 검산에서 원 위의 점의 상관계수와 상호정보량을 쓰세요.
답. 과 입니다.
문제 15. 상관계수가 못 잡는 관계를 상호정보량이 잡는 이유를 쓰세요.
답. 상관은 직선 관계만 보고 상호정보량은 모든 관계를 보기 때문입니다.
문제 16. 세 변수의 사슬 규칙을 쓰고 순서가 결과를 바꾸는지 쓰세요.
답. 이며 순서를 바꿔도 로 같습니다.
문제 17. 검산에서 공통 원인과 공통 결과의 두 상호정보량을 쓰세요.
답. 과 , 과 입니다.
문제 18. 상호정보량으로 인과 방향을 못 정하는 이유를 쓰세요.
답. 완전히 대칭이라 와 가 같기 때문입니다.
문제 19. 검산에서 복사본을 더했을 때의 합친 상호정보량과 중복을 쓰세요.
답. 과 입니다.
문제 20. 검산에서 두 선택 기준이 고른 쌍의 합친 상호정보량을 쓰세요.
답. 과 입니다.
문제 21. KL 발산이 무엇을 재는지 한 문장으로 쓰세요.
답. 틀린 분포로 부호를 만들었을 때 더 쓰는 비트 수입니다.
문제 22. 검산에서 네 분포의 KL을 쓰세요.
답. , , , 입니다.
문제 23. 교차엔트로피와 엔트로피와 KL의 관계를 쓰세요.
답. 교차엔트로피가 엔트로피와 KL의 합입니다.
문제 24. 검산에서 삼각부등식이 깨진 횟수를 쓰세요.
답. 만 번 중 번입니다.
문제 25. 검산에서 두 방향의 최적 평균과 표준편차를 쓰세요.
답. 과 , 과 입니다.
문제 26. 두 방향이 각각 어떤 자리에서 큰 벌을 받는지 쓰세요.
답. 앞쪽은 참이 있는데 근사가 없을 때, 뒤쪽은 근사가 있는데 참이 없을 때입니다.
문제 27. 최대우도와 교차엔트로피의 관계를 쓰세요.
답. 평균 로그우도의 부호를 바꾼 것이 교차엔트로피입니다.
문제 28. 검산에서 모형이 틀릴 때의 최대우도 표준편차를 쓰세요.
답. 이며 참 봉우리는 입니다.
문제 29. 검산에서 "반대로 "인 쌍의 네 값을 쓰세요.
답. 무한대, , , 입니다.
문제 30. 겹치지 않는 두 분포에서 어느 자만 거리를 반영하는지 쓰세요.
답. 바서슈타인이며 나머지 셋은 거리와 무관하게 같은 값을 냅니다.
문제 31. 손실을 고르는 것이 무엇을 가정하는 것인지 쓰세요.
답. 잡음의 분포를 가정하는 것입니다.
문제 32. 다섯 가정과 그에 대응하는 손실을 쓰세요.
답. 정규는 제곱오차, 라플라스는 절대오차, 베르누이는 이진 교차엔트로피, 다항은 소프트맥스 교차엔트로피, 포아송은 포아송 손실입니다.
문제 33. 검산에서 이상점이 섞였을 때 두 손실의 흔들림을 쓰세요.
답. 과 입니다.
문제 34. 검산에서 정답이 이고 확률이 일 때의 손실을 쓰세요.
답. 입니다.
문제 35. 검산에서 로짓 일 때 두 계산의 결과를 쓰세요.
답. 그냥 계산은 무한대이고 안정적 계산은 입니다.
문제 36. 검산에서 로짓 일 때 두 손실의 기울기를 쓰세요.
답. 과 입니다.
문제 37. 소프트맥스에 상수를 더하면 어떻게 되는지 쓰고 왜 그렇게 하는지 쓰세요.
답. 결과가 안 변하며 넘침을 막으려고 최댓값을 뺍니다.
문제 38. 검산에서 온도 와 의 엔트로피를 쓰세요.
답. 과 입니다.
문제 39. 제곱오차와 절대오차가 각각 무엇을 추정하는지 쓰고 검산 값을 쓰세요.
답. 조건부 평균과 조건부 중앙값이며 와 입니다.
문제 40. 검산에서 분위 과 의 최적값을 쓰세요.
답. 과 입니다.
문제 41. 엔트로피 추정의 치우침 방향과 이유를 쓰세요.
답. 아래로 치우치며 안 나온 값의 확률을 으로 두기 때문입니다.
문제 42. 검산에서 표본 과 의 치우침을 쓰세요.
답. 과 입니다.
문제 43. 검산에서 가짓수 일 때 표본 의 치우침을 쓰세요.
답. 입니다.
문제 44. 검산에서 칸 개와 개일 때 독립인 자료의 상호정보량을 쓰세요.
답. 와 입니다.
문제 45. 검산에서 표본 에 가짓수 인 무관 변수의 상호정보량을 쓰세요.
답. 이며 참값은 입니다.
문제 46. 검산에서 KL 자료 이동 감시의 표본 과 의 분위를 쓰세요.
답. 와 입니다.
문제 47. 검산에서 칸 개와 개의 신호 대 잡음을 쓰세요.
답. 과 입니다.
문제 48. 검산에서 클래스 가중치 과 의 재현율과 정밀도를 쓰세요.
답. 와 , 과 입니다.
문항 과 과 이 이 단원의 척추입니다. 교차엔트로피가 엔트로피와 KL의 합이고, 최대우도가 그것을 최소화하는 일이며, 그래서 손실이 분포 가정에서 유도됩니다. 셋을 이어서 한 문단으로 쓸 수 있으면 201강부터 204강이 한 덩어리로 붙은 것입니다.
문항 와 이 3부에서 가장 자주 틀립니다. 같은 두 봉우리 자료를 앞 방향으로 근사하면 표준편차 로 넓게 퍼지고 뒤 방향으로 근사하면 으로 한 봉우리에 붙습니다. 어느 쪽이 옳은 것이 아니라 무엇을 벌주느냐가 다른 것이며, 이 구분이 S11의 생성모형에서 계속 필요합니다.
문항 을 틀렸다면 204강 문제 2를 다시 봐야 합니다. 로짓 에서 교차엔트로피 기울기가 인데 제곱오차는 입니다. 크게 틀린 자리에서 거의 안 배우는 것이 분류에 제곱오차를 안 쓰는 이유이고, 출력 활성화와 손실을 짝으로 고르는 이유입니다.
문항 부터 까지가 하나의 이야기입니다. 엔트로피도 상호정보량도 KL도 표본에 견줘 칸이나 가짓수가 많으면 없는 구조를 만들어 냅니다. 표본 에 가짓수 면 관계가 전혀 없는데도 이 나옵니다. 절대값을 믿지 말고 같은 조건의 기준선과 견주는 것이 이 단원 전체의 실무 결론입니다.
문항 이 02단원의 예고입니다. 가중치를 주면 재현율이 에서 로 오르는데 정밀도가 에서 으로 내려가고 확률의 보정이 깨집니다. 손실을 바꾸면 최적해가 바뀌고 그 최적해는 더 이상 참 확률이 아니며, 그 맞바꿈을 다루는 것이 226강과 227강입니다.
다음은 02단원 학습을 최적화로 쓰기입니다. 이 단원이 "무엇을 최소화할 것인가"를 답했고, 다음 단원이 "어떻게 최소화할 것인가"를 답합니다.