231강부터 261강까지 강, 일곱 단원입니다.
집필 중. 01단원(231~234강)과 02단원(235~238강)과 03단원(239~242강)이 집필되었습니다. 이 과목은 S9 머신러닝(201~230강)을 마치고 읽습니다.
S9가 물은 것은 무엇이 잘 맞는가였습니다. 이 과목이 묻는 것은 다릅니다.
강부터 강까지의 여섯 방법은 모두 모양을 미리 정해 두었습니다. 직선이거나 나무이거나 커널이었습니다. 신경망은 그 모양을 자료에서 만들어 냅니다.
그런데 공짜가 아닙니다. 손실면이 볼록하지 않고, 그래디언트가 층을 지나며 사라지거나 터지며, 손잡이가 훨씬 많아집니다. 이 과목은 그 대가를 하나씩 수학으로 다룹니다.
| 단원 | 강의 | 무엇을 하는가 |
|---|---|---|
| 01. 행렬미분과 역전파 | 231~234 | 그래디언트를 정확하고 빠르게 얻습니다 |
| 02. 확률적 최적화 | 235~238 | 일부만 보고 한 걸음 딛는 것을 다룹니다 |
| 03. 신경망의 구성 | 239~242 | 층과 활성함수가 무엇을 하는지 봅니다 |
| 04. 학습을 안정시키는 수학 | 243~247 | 초기화와 정규화와 최적화기를 세웁니다 |
| 05. 구조에 담긴 수학 | 248~251 | 합성곱과 순환 구조를 계산합니다 |
| 06. 어텐션과 트랜스포머 | 252~257 | 어텐션을 유도합니다 |
| 07. 그래프 신경망 | 258~261 | 어텐션이 완전 그래프 위의 메시지 패싱임을 봅니다 |
01단원과 02단원이 도구입니다. 그래디언트를 얻는 법과 쓰는 법입니다.
03단원부터 05단원까지가 구조입니다. 무엇을 쌓을지 정합니다.
06단원과 07단원이 이 과목의 도착점입니다. 어텐션을 세우고, 그것이 그래프 위의 메시지 패싱과 같은 것임을 확인합니다.
| 앞에서 배운 것 | 이 과목에서 무엇이 되는가 |
|---|---|
| ~강 행렬과 바깥곱 | 층의 그래디언트 |
| 강 특이값 분해 | 벌점 경로와 저랭크 |
| ~강 다변수 미분 | 행렬미분 규칙 |
| ~강 최적화 | 확률적 경사하강 |
| ~강 집중부등식 | 미니배치 분산 |
| ~강 학습을 최적화로 | 신경망 학습 |
| ~강 합성곱 | 합성곱 층 |
| ~강 내적과 사영 | 어텐션의 유사도 |
강이 강부터 강까지를 행렬로 다시 씁니다. 새 수학이 아니라 같은 미분을 다른 그릇에 담는 일입니다.
| 무엇이 정확한데 | 무엇이 무너지나 | 어디서 |
|---|---|---|
| 역전파 식이 맞는데 | 첫 층에 신호가 안 닿음 | 강 문제 |
| 모양이 맞는데 | 축을 헷갈려 조용히 틀림 | 강 문제 |
| 수식이 맞는데 | 지수가 넘쳐 값이 사라짐 | 강 문제 |
세 줄 모두 수학이 아니라 계산의 문제입니다. 그래서 이 과목은 유도한 식을 언제나 수치로 검산합니다.