93강부터 120강까지 강, 여섯 단원입니다.
집필 완료. 01단원부터 06단원까지(93~120강)가 모두 집필되었습니다. 다음은 관문 3(62~120강)이며, 그 뒤 121강부터 S6 확률과 통계가 시작됩니다.
S3에서 한 변수 미적분을, S4에서 선형대수를 세웠습니다. 이 과목은 그 둘을 합칩니다.
합치는 방식이 단순합니다. 다변수 미분의 결과가 수가 아니라 벡터이거나 행렬이기 때문에, S4의 도구가 그대로 언어가 됩니다.
| 개념 | 정체 | S4의 어디서 |
|---|---|---|
| 기울기 벡터 | 의 벡터 | 62~65강 |
| 야코비 행렬 | 행렬 | 66~70강 |
| 헤세 행렬 | 대칭행렬 | 86, 87강 |
| 연쇄법칙 | 행렬 곱 | 66강 |
| 수렴 속도 | 조건수 | 91강 |
마지막 줄이 이 과목의 종착점입니다. 경사하강법이 얼마나 빨리 최소를 찾는지가 헤세 행렬의 조건수로 정해지며, 이는 91강에서 만든 개념입니다.
여섯 단원이 세 덩어리로 묶입니다.
| 덩어리 | 단원 | 하는 일 |
|---|---|---|
| 미분을 세웁니다 | 01, 02 | 일차 근사와 이차 근사 |
| 적분을 세웁니다 | 03 | 다변수 적분과 변수변환 |
| 최적화를 세웁니다 | 04, 05, 06 | 알고리즘, 제약, 흐름 |
02단원이 01단원과 04단원을 잇는 다리입니다. 임계점에서 일차 근사가 침묵하므로 이차로 올라가야 하고, 그 이차 정보가 곧 최적화 알고리즘의 설계 근거가 됩니다.
| 단원 | 강의 | 하는 일 |
|---|---|---|
| 01. 다변수 미분 | 93~98 | 미분을 여러 변수로 옮깁니다 |
| 02. 이차 근사와 임계점 | 99~102 | 한 차수를 올려 극값을 판정합니다 |
| 03. 다변수 적분 | 103~106 | 넓이와 부피를 재고 좌표를 바꿉니다 |
| 04. 볼록성과 경사법 | 107~112 | 최소를 찾아 내려갑니다 |
| 05. 제약이 있는 최적화 | 113~116 | 조건을 걸고 최적화합니다 |
| 06. 미분방정식과 흐름 | 117~120 | 최적화를 연속시간으로 봅니다 |
| 이 과목의 것 | 쓰이는 곳 |
|---|---|
| 97강 연쇄법칙 | 231~234강 역전파 |
| 107~112강 최적화 | 235~238강 확률적 최적화 |
| 113~116강 제약과 정규화 | 210~214강 일반화 |
| 103~106강 다변수 적분 | 136~141강 결합분포 |
| 117~120강 미분방정식 | 266~270강 확산모형 |
120강 뒤에 관문 3이 있으며 62강부터 120강까지를 섞어 묻습니다. 행렬을 분해하고 다변수 최적화 문제를 풀 수 있는지를 확인합니다.