이 단원은 239강부터 242강까지를 맡습니다. 무엇을 쌓을 것인가를 묻습니다.
01단원과 02단원은 어떻게 학습시킬지였습니다. 그런데 정작 학습시킬 대상은 계속 선형이었습니다.
선형으로 못 가르는 문제가 있습니다
네 점짜리 배타적 논리합이 그 예이고, 직선 하나로는 원리적으로 불가능합니다. 이 단원은 층을 쌓아 그것을 넘고, 그때 무엇을 새로 치르는지를 봅니다.
| 강의 |
무엇을 묻는가 |
| 239 |
층이 무엇을 하는지 봅니다 |
| 240 |
어느 활성함수를 쓸지 정합니다 |
| 241 |
층 하나로 어디까지 되는지 봅니다 |
| 242 |
왜 깊으면 학습이 어려운지 봅니다 |
239강과 240강이 구성이고 241강과 242강이 한계입니다. 표현력의 한계는 없는데 학습의 한계가 있습니다.
표현력은 병목이 아닙니다
| 무엇이 가능한가 |
무엇이 안 되는가 |
어디서 |
| 은닉층 하나로 연속함수 근사 |
학습이 그 자리를 못 찾음 |
241강 문제 3 |
| 은닉 516개면 오차 0.140496 |
학습으로는 0.941129 |
241강 문제 3 |
| 깊이 24도 표현 가능 |
그래디언트가 앞층에 안 닿음 |
242강 문제 4 |
241강 문제 3에서 같은 단위 수의 손 구성이 학습보다 여섯 배 정확했습니다. 정리는 존재를 보장하고 도달은 보장하지 않습니다.
| 무엇 |
파라미터 수 |
따로 뗀 정확도 |
| 선형 하나 |
6 |
0.596667 |
| 활성 없이 세 층 |
1218 |
0.596667 |
| 활성 넣고 세 층 |
1218 |
0.986667 |
앞의 두 줄이 소수점 여섯 자리까지 같습니다. 239강 문제 2이고, 행렬 곱의 곱이 다시 행렬 곱이기 때문입니다.
| 함수 |
도함수 최댓값 |
깊이 8 정확도 |
| 로지스틱 |
0.250000 |
0.492500 |
| 하이퍼볼릭 탄젠트 |
1.000000 |
0.943750 |
| 정류 선형 |
1.000000 |
0.920000 |
"포화하면 나쁘다"는 부정확합니다. 탄젠트도 포화하지만 깊이 8에서 잘 배웁니다. 240강 문제 2의 결론이고, 최댓값이 1인지가 결정적입니다.
| 층 수 |
계수 |
가장 큰 특이값 |
가장 작은 것 |
둘의 비 |
| 1 |
9 |
2.0378e+00 |
8.7305e−01 |
2.3341e+00 |
| 40 |
9 |
8.9129e−01 |
2.1510e−10 |
4.1435e+09 |
242강 문제 1입니다. 가장 큰 특이값은 0.89에서 4.65 사이에 머무는데 조건수는 109까지 벌어집니다.
233강에서 크기만 봤을 때는 이것이 안 보였습니다.
| 층마다 죽은 단위 수 |
야코비 계수 |
| 0 |
32 |
| 16 |
16 |
| 24 |
8 |
죽은 단위 수만큼 계수가 정확히 깎입니다. 그 방향의 정보는 작아지는 것이 아니라 **0**이 됩니다.
240강 문제 3에서 학습률 0.2일 때 65퍼센트가 죽었습니다.
| 깊이 |
정규 초기화 |
직교 초기화 |
잔차 연결 |
| 4 |
0.940000 |
0.930000 |
0.925000 |
| 24 |
0.921250 |
0.901250 |
0.941250 |
깊이 4에서는 정규 초기화가 가장 좋았는데 24에서 순서가 뒤집힙니다.
240강에서 활성함수 사이 최대 차이가 0.05였는데, 242강의 잔차 연결은 깊이 20에서 0.18을 냅니다.
| 이 단원의 개념 |
어디서 배웠는가 |
| 선형 판별 |
215강, 239강 문제 1 |
| 행렬의 계수 |
84강, 239강 문제 2 |
| 특이값 분해 |
84강, 242강 문제 1 |
| 기저 전개 |
228강, 241강 심화 1 |
| 특성공학 |
228강, 239강 문제 4 |
| 로지스틱 회귀 |
216강, 239강 문제 4 |
| 교차엔트로피 |
203강, 239강 문제 5 |
| 차원의 저주 |
209강, 241강 문제 2 |
| 바깥 추정 |
230강, 241강 문제 4 |
| 그래디언트 소실 |
233강, 240강과 242강 |
| 학습률 상한 |
237강, 242강 문제 5 |
228강의 특성공학이 이 단원의 다른 이름입니다. 239강 문제 4에서 신경망은 좌표를 배우는 특성공학임을 확인했습니다.
| 습관 |
왜 |
| 표현력을 먼저 의심하지 않기 |
병목이 아니기 때문 |
| 층별 그래디언트를 찍어 보기 |
어디서 죽는지 보이기 때문 |
| 학습률을 먼저 제대로 고르기 |
구조보다 먼저 듣기 때문 |
| 깊이가 문제면 구조를 고치기 |
활성함수로는 못 메우기 때문 |
04단원부터는 이 단원에서 본 문제들의 처방을 봅니다.
무엇을 쌓을 것인가⟶그 쌓기를 어떻게 안정시킬 것인가
242강에서 본 소실·폭발·계수 손실·층 사이 불균형이 각각 어떻게 처방되는지가 다음 다섯 강의입니다. 243강이 초기화, 244강과 245강이 정규화와 잔차 연결, 246강이 소실과 폭발, 247강이 아담입니다.