이 단원은 235강부터 238강까지를 맡습니다. 잡음을 어떻게 다룰 것인가를 묻습니다.
01단원에서 그래디언트를 정확하고 빠르게 얻는 법을 세웠습니다. 그런데 실제 학습은 그 정확한 그래디언트를 안 씁니다.
왜 그것이 되는지가 이 단원의 첫 물음이고, 답은 편향이 없다는 것입니다. 틀리는 것은 분산뿐이고, 나머지 세 강의는 그 분산을 어떻게 다룰지를 봅니다.
| 강의 | 무엇을 묻는가 |
|---|---|
| 일부만 보고 딛는 걸음이 왜 되는지 봅니다 | |
| 학습률을 어떻게 줄여야 최적점에 닿는지 봅니다 | |
| 배치를 얼마나 키울 값이 있는지 봅니다 | |
| 배치를 안 키우고 잡음을 줄이는 길을 봅니다 |
강이 진단이고 강부터가 처방입니다. 학습률로 줄이고, 배치로 줄이고, 평균으로 줄입니다.
| 무엇을 바꾸면 | 떨림이 어떻게 | 어디서 |
|---|---|---|
| 학습률을 절반으로 | 절반이 됨 | 강 문제 |
| 배치를 두 배로 | 절반이 됨 | 강 문제 |
| 둘 다 두 배로 | 그대로 | 강 문제 |
| 모멘텀 계수 | 열아홉 걸음 평균 | 강 문제 |
강 문제 에서 학습률을 절반으로 줄일 때마다 초과손실도 절반이 됐습니다. 그리고 배치 곱하기 초과손실이 에서 사이로 일정했습니다.
| 감소식 | 첫째 조건 | 둘째 조건 | 걸음 초과손실 |
|---|---|---|---|
| 만족 | 만족 | ||
| 1/\sqrt | 만족 | 어김 | |
| 코사인 | 유한 걸음이라 무의미 | 유한 걸음이라 무의미 |
조건을 다 만족하는 가 거의 꼴찌입니다. 강 문제 의 결과이고, 조건이 무한 걸음에 대한 것이기 때문입니다.
상수 하나로 결과가 다섯 자릿수 달라집니다. 같은 인데 앞에 를 붙이면 가 가 됩니다.
| 배치 크기 | 걸음 수 | 앞 배치 대비 줄어든 비 |
|---|---|---|
강 문제 입니다. 배치를 에서 로 네 배 키우면 걸음이 배가 됩니다. 계산만 네 배 쓴 것입니다.
잡음 나누기 신호가 이 되는 자리가 그 천장이고, 이 자료에서 로 예측됐습니다.
| 무엇을 했나 | 배치 | 걸음 수 |
|---|---|---|
| 그대로 배치 | ||
| 배치만 으로 | ||
| 표준화하고 배치 |
강 문제 입니다. 배치를 열여섯 배 키워 얻은 것이 에서 걸음뿐인데, 표준화 한 번이 걸음으로 만듭니다.
잡음이 아니라 조건수가 병목일 때는 배치가 답이 아닙니다.
| 무엇을 했나 | 초과손실 |
|---|---|
| 아무것도 없이 | |
| 모멘텀만 | |
| 모멘텀과 감소식 | |
| 셋 다 |
강 문제 입니다. 배치를 하나도 안 키우고 마흔일곱 배 좋아집니다.
폴략 평균은 걸음을 하나도 더 안 가고 예순 배를 냅니다. 떨림이 최적점 둘레를 도는 것이라 평균이 가운데를 찾기 때문입니다.
| 잡음 크기 | 깊은 골에 간 비율 |
|---|---|
강 문제 입니다. 잡음이 없으면 얕은 골에 갇히고, 있으면 퍼센트가 깊은 골로 넘어갑니다.
그래서 분산 감소 방법이 딥러닝에서 잘 안 쓰입니다. 볼록한 문제에서는 잡음이 순수한 손해지만 신경망은 다릅니다.
| 이 단원의 개념 | 어디서 배웠는가 |
|---|---|
| 표본평균의 분산 | 강, 강 문제 |
| 유효 표본 크기 | 강, 강 문제 |
| 경사하강 | 강, 강 전체 |
| 뉴턴법과 헤세 | 강, 강 심화 |
| 고유분해 | 강, 강 문제 |
| 눈금 맞추기 | 강, 강 문제 |
| 벌점과 정규화 | 강, 강 문제 |
| 국소 최소 | 강, 강 문제 |
| 배치 축 | 강, 강 전체 |
강의 표본평균 분산 공식이 이 단원의 뼈대입니다. 미니배치 그래디언트가 곧 표본평균이기 때문입니다.
| 습관 | 왜 |
|---|---|
| 배치와 학습률을 함께 정하기 | 둘이 로 묶여 있기 때문 |
| 짧게 돌려 상한 찾기 | 발산 직전에 이미 나빠지기 때문 |
| 모멘텀은 기본으로 켜기 | 거의 공짜이기 때문 |
| 조건수부터 의심하기 | 배치로 못 고치기 때문 |
03단원부터는 무엇을 학습시킬지로 넘어갑니다.
지금까지 최적화만 봤고 모형은 여전히 선형이었습니다. 강부터 층을 쌓고, 그때 손실면이 볼록하지 않게 됩니다. 이 단원에서 세운 도구들이 그 위에서 어떻게 달라지는지가 다음 물음입니다.