107강부터 112강까지를 섞어 묻습니다. 모두 문항이며 세 부분으로 나뉩니다.
| 부분 | 범위 | 문항 |
|---|---|---|
| 1부 | 볼록성과 두 상수 | ~ |
| 2부 | 경사하강법과 수렴 | ~ |
| 3부 | 가속과 이차 방법 | ~ |
합격선은 문항입니다. 이 단원은 S11 학습의 수학 전체의 전제이므로 빈틈을 남기면 SGD 수렴 조건부터 막힙니다. 특히 와 이 무엇을 보장하는지는 반드시 손으로 설명할 수 있어야 합니다.
문제 1. 볼록집합의 정의를 쓰세요.
답. 안의 두 점을 잇는 선분이 언제나 집합 안에 있는 것입니다.
문제 2. 교집합과 합집합 중 볼록성을 보존하는 것을 쓰고 그 실용적 결과를 쓰세요.
답. 교집합입니다. 반공간의 교집합이 볼록이므로 가 자동으로 볼록집합입니다.
문제 3. 볼록함수의 정의를 쓰세요.
답. 이며 현이 함수 위에 있습니다.
문제 4. 상위그래프로 볼록성을 표현하고 그 이점을 쓰세요.
답. 가 볼록집합인 것입니다. 함수의 성질을 집합의 성질로 바꿔 교집합 논증을 쓸 수 있습니다.
문제 5. 볼록성을 보존하지 않는 함수 연산 두 가지를 쓰세요.
답. 최소 와 곱 입니다.
문제 6. 일차 조건을 쓰고 기하적 뜻을 쓰세요.
답. 이며 접평면이 언제나 아래에 있습니다.
문제 7. 볼록함수의 임계점은 무엇입니까?
답. 전역 최소이며 이 최적성의 필요충분조건입니다.
문제 8. 이차 조건을 쓰고 101강의 극값 판정과 비교하세요.
답. 모든 점에서 입니다. 101강은 한 점에서의 조건이었습니다.
문제 9. 미분불가능한 볼록함수의 예를 쓰세요.
답. 이며 볼록성은 미분가능성보다 약한 조건입니다.
문제 10. 국소 최소가 전역 최소임을 어떻게 증명합니까?
답. 더 낮은 점 쪽으로 조금만 가도 값이 낮아지므로 국소 최소일 수 없음을 보입니다.
문제 11. 젠센 부등식을 쓰고 하나의 응용을 쓰세요.
답. 이며 262강의 증거 하한(ELBO)이 여기서 나옵니다.
문제 12. 와 을 헤세로 정의하세요.
답. 입니다.
문제 13. 강볼록의 가장 일반적인 정의를 쓰세요.
답. 이 볼록한 것입니다.
문제 14. -매끄러움의 립시츠 형태를 쓰고 이름의 근거를 쓰세요.
답. 이며 기울기가 급격히 변하지 않는다는 뜻입니다.
문제 15. 이 보장하는 것 두 가지를 쓰세요.
답. 최소의 존재와 유일성입니다.
문제 16. 인 볼록함수의 예와 그 최소점 집합을 쓰세요.
답. 이며 최소점이 직선 전체입니다.
문제 17. 하강 보조정리를 쓰고 안전한 의 범위를 쓰세요.
답. 이면 이상 줄며 안전 범위는 입니다.
문제 18. 상한 부등식에서 최적 를 유도하세요.
답. 감소량 을 미분해 입니다.
문제 19. PL 부등식을 쓰고 등호 조건을 쓰세요.
답. 이며 의 고유벡터 방향에서 등호입니다.
문제 20. 최적점과의 거리 상한을 쓰세요.
답. 입니다.
문제 21. 이차함수에서 경사하강법의 성분별 곱수를 쓰세요.
답. 입니다.
문제 22. 지그재그가 생기는 조건을 쓰세요.
답. 곱수가 음수인 것, 즉 입니다.
문제 23. 의 거동을 정확히 쓰세요.
답. 발산이 아니라 진동입니다. 방향이 크기를 유지한 채 튕겨 수렴하지 않습니다.
문제 24. 안정성을 정하는 양을 쓰세요.
답. 이며 보다 작아야 합니다.
문제 25. 이면 몇 걸음에 끝납니까?
답. 로 한 걸음입니다.
문제 26. 선형 수렴의 정의와 이름의 유래를 쓰세요.
답. 오차가 매 걸음 일정 비율씩 줄어드는 것이며 오차의 로그가 걸음 수에 대해 선형입니다.
문제 27. 일 때 기준과 기준 수렴률의 관계를 쓰세요.
답. 와 그 제곱입니다. 가 거리의 제곱에 비례하기 때문입니다.
문제 28. 최적 학습률과 그때의 수렴률을 쓰세요.
답. 이며 입니다.
문제 29. 학습률 조정으로 의존성을 없앨 수 있습니까?
답. 없습니다. 약 두 배의 상수 개선일 뿐입니다.
문제 30. 볼록이지만 강볼록이 아닐 때의 수렴률을 쓰세요.
답. 입니다.
문제 31. 비볼록에서 보장되는 부등식과 필요한 가정을 쓰세요.
답. 이며 -매끄러움과 아래로 유계면 됩니다.
문제 32. 로빈스-먼로 조건을 쓰고 가 만족하는지 답하세요.
답. 이고 입니다. 는 둘째를 어깁니다.
문제 33. 모멘텀의 갱신식을 쓰세요.
답. , 입니다.
문제 34. 모멘텀이 두 성분에 미치는 효과를 쓰세요.
답. 일관된 방향은 가속되고 진동하는 방향은 상쇄됩니다.
문제 35. 모멘텀의 수렴률과 걸음 수 차수를 쓰세요.
답. 이며 입니다.
문제 36. 일차 방법의 하한을 쓰고 모멘텀과의 관계를 쓰세요.
답. 이며 모멘텀이 이를 달성해 최적입니다.
문제 37. 가 열 배면 두 방법의 걸음은 각각 몇 배입니까?
답. 경사하강법은 열 배, 모멘텀은 약 배입니다.
문제 38. 모멘텀의 안정 조건과 유효 학습률을 쓰세요.
답. 이며 유효 학습률은 입니다.
문제 39. 를 키울 때 함께 해야 할 일을 쓰세요.
답. 를 배로 줄여야 유효 걸음이 유지됩니다.
문제 40. Adam의 핵심 연산과 그 효과를 쓰세요.
답. 일차 모멘트를 이차 모멘트의 제곱근으로 나누며, 걸음이 기울기 크기와 무관하게 규모로 고정됩니다.
문제 41. Adam을 96강의 언어로 설명하세요.
답. 대각행렬을 노름으로 삼는 최급강하입니다.
문제 42. 뉴턴법의 갱신식과 세 가지 유도를 쓰세요.
답. 이며 기울기 선형화, 이차 모형 최소화, -노름 최급강하로 유도됩니다.
문제 43. 아핀 불변성을 쓰고 그 실용적 뜻을 쓰세요.
답. 좌표를 선형변환해도 궤적이 같으며 전처리가 필요 없다는 뜻입니다.
문제 44. 이차 수렴의 정의와 한 변수 상수를 쓰세요.
답. 이며 상수가 입니다.
문제 45. 뉴턴 걸음이 하강 방향일 조건과 그 근거를 쓰세요.
답. 입니다. 이어야 하기 때문입니다.
문제 46. 레벤버그-마쿼트의 걸음을 쓰고 두 극단을 설명하세요.
답. 이며 가 크면 경사하강법, 작으면 뉴턴법에 가까워집니다.
문제 47. 절단 뉴턴법이 필요로 하는 연산과 그 계산법을 쓰세요.
답. 곱이며 로 헤세 없이 구합니다.
문제 48. 네 방법의 걸음 수와 한 걸음 비용을 표로 쓰세요.
답. 경사하강법 와 , 모멘텀 와 , L-BFGS 중간과 , 뉴턴법 과 입니다.
틀린 문항이 어느 부분에 몰렸는지를 먼저 봅니다.
| 몰린 곳 | 다시 볼 것 |
|---|---|
| 1부 | 107강 문제 3과 문제 5, 108강 문제 2와 문제 3 |
| 2부 | 109강 문제 3, 110강 문제 1과 심화 1 |
| 3부 | 111강 문제 3, 112강 문제 2와 문제 4 |
문항 을 틀렸다면 반드시 돌아갑니다. 이 발산이 아니라 진동이라는 구별은 안정성 분석의 핵심이며, 118강의 평형점 안정성에서 같은 논리가 다시 나옵니다.
문항 과 도 중요합니다. 모멘텀이 단순한 개선이 아니라 하한을 달성하는 최적 방법이라는 점을 알아야 왜 그것이 표준이 되었는지 이해됩니다.
문항 를 틀렸다면 위험합니다. 뉴턴법이 어디서나 통한다고 믿으면 안장 근처에서 위로 올라가는 것을 알아채지 못합니다. 101강 문제 5에서 본 대로 고차원에서는 헤세가 부정부호인 영역이 넓습니다.
문항 과 은 96강 심화 3의 회수입니다. 노름 선택 하나로 네 알고리즘이 통합되며, 이 관점이 없으면 각각을 따로 외워야 합니다.
다음은 113강부터 시작하는 05단원 제약이 있는 최적화입니다. 제약이 있으면 이 최적성 조건이 아니며, 95강 문제 4의 기하가 그것을 대신할 조건을 줍니다.