이 단원은 S5의 첫 단원이며 93강부터 98강까지를 맡습니다. 미분을 여러 변수로 옮깁니다.
S3에서 다룬 함수는 입력이 하나였습니다.
f:R→R
실제로 풀고 싶은 문제는 그렇지 않습니다. 손실함수는 파라미터가 수백만 개이고, 좌표변환은 평면을 평면으로 보냅니다. 입력이 여럿이 되는 순간 "기울기"라는 말부터 다시 정의해야 합니다.
한 점에서 움직일 방향이 무한히 많기 때문입니다.
이 단원은 정의 하나를 잘 고르는 이야기입니다.
가장 쉬운 답은 방향을 좌표축으로 한정하는 것입니다. 그러면 나머지 변수가 상수가 되어 한 변수 함수가 되고, 37강의 미분을 그대로 쓸 수 있습니다. 이것이 94강의 편미분입니다.
그런데 이 정의가 너무 약합니다. 94강에서 반례를 만납니다.
편미분이 모두 존재하는데 함수가 연속이 아닙니다
한 변수에서 미분가능하면 연속이라던 36강의 정리가 무너집니다. 이유는 단순합니다. 편미분은 두 축 위만 보는데, 평면에는 축 말고도 갈 곳이 많습니다.
그래서 95강이 요구를 바꿉니다. 방향마다 따로 재는 대신 한 번에 전부를 근사하라고 합니다.
f(a+h)=f(a)+∇f(a)⋅h+o(∥h∥)
이 정의를 세우고 나면 나머지가 쉬워집니다. 96강, 97강, 98강의 주요 정리가 모두 이 식에서 세 줄 안에 따라 나옵니다.
| 강의 |
하는 일 |
95강에서 유도되는 방식 |
| 96 |
임의 방향으로 잽니다 |
h=tu를 넣습니다 |
| 97 |
연쇄를 따라갑니다 |
선형근사를 두 번 겹칩니다 |
| 98 |
행렬로 정리합니다 |
출력마다 한 줄씩 쌓습니다 |
이 단원의 강의는 개념을 먼저 나열하지 않습니다. 문제를 먼저 던지고, 그 문제를 푸는 과정에서 개념과 공식을 끌어냅니다. 각 문제는 문제, 생각의 실마리, 풀이, 이 문제에서 배우는 것, 바로 확인의 다섯 단계로 진행합니다.
이 단원에서 반례 넷을 만납니다. 각각이 정의를 한 번씩 밀어 올립니다.
| 반례 |
무엇을 깨는가 |
강의 |
| xy/(x2+y2) |
편미분 존재가 연속을 줍니다 |
94, 95 |
| x2y/(x4+y2) |
방향도함수 전부가 연속을 줍니다 |
94, 96 |
| xy(x2−y2)/(x2+y2) |
f_{xy}=f_ |
94 |
| r2sin(1/r) |
전미분가능이 C1을 줍니다 |
95 |
넷째 줄만 방향이 반대입니다. 앞의 셋은 조건이 약해 결론이 안 나오는 예이고, 마지막은 결론이 나는데 조건이 필요 없다는 예입니다. 그래서 포함관계가 진짜입니다.
C1 ⊊ 전미분가능 ⊊ 편미분 존재
첫째 줄과 둘째 줄이 특히 중요합니다. 축 위를 다 봐도, 심지어 모든 직선 방향을 다 봐도 함수의 국소 구조를 결정하지 못합니다. 이상이 곡선 위에 숨어 있기 때문입니다.
- 이 단원은 93,94,95,96,97,98강 순서로 읽어야 합니다.
- 34강의 극한 정의가 93강 문제 4의 바탕입니다.
- 36강의 미분가능성과 연속의 관계가 94강 문제 5에서 무너집니다.
- 37강의 미분이 94강 편미분에 그대로 쓰입니다.
- 39강의 평균값 정리가 94강 심화 1과 95강 심화 2의 증명 도구입니다.
- 40강의 연쇄법칙이 97강에서 다변수로 확장됩니다.
- 63강의 코시-슈바르츠가 96강 최급증가 정리의 증명입니다.
- 66강의 행렬 곱이 98강 연쇄법칙의 정체입니다.
- 76강의 선형변환이 95강에서 미분의 정체로 등장합니다.
- 79강의 행렬식과 부피가 98강 문제 3에서 국소적으로 되살아납니다.
- 90강의 노름 부등식이 98강 심화 1의 증명에 쓰입니다.
- 92강의 부동소수점이 93강 문제 1과 95강 문제 4에서 다시 나타납니다.
- 다변수 함수와 등고선
- 편미분
- 전미분과 기울기 벡터
- 방향도함수
- 다변수 연쇄법칙
- 야코비 행렬
-
- 다변수 함수와 등고선
다변수 함수를 정의하고 정의역이 평면의 영역이 됨을 봅니다. 등위집합으로 차원을 줄여 읽는 법을 익히고, 간격이 가파름의 역수임을 확인합니다. 다변수 극한이 모든 경로에서 같아야 함을 보이고 안장을 등고선으로 알아봅니다.
-
- 편미분
다른 변수를 고정해 한 변수 미분을 적용합니다. 기하적 의미를 단면의 접선으로 설명하고 고계 편미분과 클레로 정리를 세웁니다. 그리고 반례 둘로 이 정의의 한계를 드러냅니다.
-
- 전미분과 기울기 벡터
선형근사를 요구하는 정의를 세우고 접평면을 얻습니다. 기울기 벡터를 정의하고 등고선에 수직임을 증명하며, 편미분 존재와 전미분가능을 구별합니다.
-
- 방향도함수
임의 방향의 변화율을 정의하고 ∇f⋅u임을 증명합니다. 코시-슈바르츠로 최급증가 방향을 얻고, 최급강하가 노름 선택에 의존함을 봅니다.
-
- 다변수 연쇄법칙
곡선을 따른 미분과 중간변수가 여럿인 경우를 다룹니다. 계산 그래프의 경로 규칙을 세우고 편미분과 전미분을 구별하며, 순방향과 역방향의 비용 차이를 계산합니다.
-
- 야코비 행렬
출력이 여럿인 경우로 넓혀 미분을 행렬로 적습니다. 연쇄법칙이 행렬 곱임을 증명하고 행렬식이 국소 부피 배율임을 확인하며, 지금까지의 미분들이 모두 특별한 경우임을 정리합니다.
- 편미분이 있다고 연속이라 여기지 않았는가?
- 직선 경로만 확인하고 극한이 있다고 결론 내지 않았는가?
- 클레로 정리를 조건 확인 없이 쓰지 않았는가?
- 나머지를 ∥h∥로 나눴는가?
- u를 단위화했는가?
- ∂f/∂x와 df/dx를 구별했는가?
- 무엇이 따라 움직이는지 먼저 적었는가?
- 야코비의 행과 열을 뒤집지 않았는가?
- 연쇄법칙에서 중간값을 평가점으로 썼는가?
- 최급강하가 최단경로라고 오해하지 않았는가?
- 등고선으로 지형을 읽고 임계점의 성격을 알아볼 수 있습니다.
- 편미분과 고계 편미분을 계산할 수 있습니다.
- 전미분가능성을 정의로 확인하고 접평면을 세울 수 있습니다.
- 기울기 벡터의 방향과 크기를 해석할 수 있습니다.
- 임의 방향의 변화율을 구하고 최급 방향을 찾을 수 있습니다.
- 얽힌 변수들 사이의 연쇄법칙을 정확히 적용할 수 있습니다.
- 야코비 행렬을 세우고 행렬식을 부피 배율로 읽을 수 있습니다.
이 단원은 S5의 나머지 전부의 전제입니다.
| 이 단원의 것 |
쓰이는 곳 |
| 95강 기울기 |
109강 경사하강법의 방향 |
| 96강 최급강하와 노름 |
111강 Adam, 112강 뉴턴법 |
| 95강 기울기와 등고선의 수직 |
113강 라그랑주 승수법 |
| 97강 연쇄법칙 |
233강 역전파 |
| 98강 야코비 행렬식 |
105강 변수변환, 273강 흐름 모형 |
| 98강 헤세는 ∇f의 야코비 |
99강 헤세 행렬 |
둘째 줄과 셋째 줄이 특히 값어치가 큽니다. 96강 심화 3에서 최급강하 방향이 노름에 의존함을 보이는데, 그 관점 하나로 경사하강법과 뉴턴법과 Adam이 같은 틀의 서로 다른 선택이 됩니다. 알고리즘마다 따로 외울 필요가 없어집니다.
99강부터 시작하는 02단원 이차 근사와 임계점은 한 차수를 올립니다.
이유가 분명합니다. 임계점 ∇f=0에서 이 단원의 도구가 침묵하기 때문입니다.
f(a+h)≈f(a)+=0∇f⋅h
93강 문제 5에서 x2+y2과 x2−y2이 원점에서 모두 ∇f=0이었는데 하나는 최소이고 하나는 안장이었습니다. 그 차이가 이차항에 있습니다.
02단원에서 헤세 행렬을 세우고, 87강에서 만든 이차형식의 양정치성 판정으로 최소와 최대와 안장을 가릅니다. 그 분류가 04단원 최적화 알고리즘의 전제가 됩니다.
120강 뒤에 관문 3이 있으며 62강부터 120강까지를 섞어 묻습니다.