12강에서는 변화율을 미분으로 읽었고, 14강에서는 그 변화를 누적해 전체량을 보았습니다. 16강에서는 한 단계 더 가서, 변화율 자체가 법칙으로 주어지는 상황을 다룹니다. 이것이 미분방정식입니다. 미분방정식은 어떤 순간의 상태가 다음 변화를 어떻게 결정하는지를 말해 주고, 그 결과 시간 전체에 걸친 움직임을 설명합니다. 이런 관점을 동역학이라고 합니다.
변화 법칙이라는 뜻을 봅니다.일반 방정식은 어떤 수를 찾는 문제입니다. 예를 들어
는 하나의 숫자
를 찾습니다.
하지만 미분방정식은 다릅니다. 방정식 안에 함수의 도함수, 즉 변화율이 들어 있기 때문에, 어떤 순간의 값 하나가 아니라 시간 전체에 걸친 함수를 찾아야 합니다.
예를 들어
를 봅시다. 이 식은 단순히 x가 얼마냐를 묻지 않습니다. 대신 상태 x의 변화 속도는 현재 상태 x에 비례한다는 법칙을 줍니다.
이 말은 매우 중요합니다.
바로 이런 구조 때문에 미분방정식은 동역학의 언어가 됩니다.
그런데 이 법칙만으로는 해가 하나로 정해지지 않습니다. 왜냐하면 같은 변화 법칙을 따르더라도 출발점이 다르면 전혀 다른 곡선이 나올 수 있기 때문입니다. 그래서 초기조건이 필요합니다.
예를 들어
의 해는
꼴입니다.
여기서
는 아직 정해지지 않은 상수입니다. 즉 변화 법칙만 알면 가능한 해들의 가족만 알 수 있습니다. 출발점
를 주어야
가 되어
처럼 해가 하나로 정해집니다.
그래서 초기조건은 단순한 부가정보가 아니라, 시스템이 실제로 어느 궤적을 따라갈지 결정하는 핵심 정보입니다.
이제 이 해를 읽어 봅시다.
먼저
이면 지수적으로 성장합니다.
반대로
이면 지수적으로 감소합니다.
또
이면 상태가 그대로 유지됩니다.
즉 같은 식
라도 상수
의 부호에 따라 장기 거동이 완전히 달라집니다.
동역학에서는 특히 평형점이 중요합니다. 평형점은 변화율이 0이 되는 상태입니다. 그 점에 들어가면 시간이 지나도 더 이상 움직이지 않습니다.
예를 들어
에서는
이 되는
이 평형점입니다.
하지만 평형점이라고 해서 모두 같은 역할을 하는 것은 아닙니다. 어떤 평형점은 가까이 가면 다시 그 점으로 끌려오고, 어떤 평형점은 조금만 벗어나도 멀어집니다. 이것이 안정성과 불안정성입니다.
직관적으로 보면,
합니다.
이 생각은 장기적으로 시스템이 어디에 머무를지 예측하는 데 중요합니다. 학습 알고리즘에서도 어떤 점이 안정적인지, 작은 흔들림이 사라지는지 커지는지를 보는 것은 매우 중요합니다.
AI와의 연결도 직접적입니다. 경사하강법은 이산적인 업데이트 규칙이지만, 연속시간으로 보면 다음과 같은 흐름처럼 읽을 수 있습니다.
이 식은 파라미터
가 손실
를 가장 빠르게 줄이는 방향으로 계속 이동한다는 뜻입니다. 즉 최적화도 현재 상태가 다음 변화를 결정한다는 점에서 동역학입니다.
결국 미분방정식의 핵심은 현재 상태, 변화율, 다음 상태의 연결을 보는 것입니다. 그리고 동역학은 이 연결이 시간 전체에 걸쳐 어떤 궤적을 만드는지 읽는 언어입니다.
풀이: 일반해는
이다. 초기조건
을 넣으면
이므로
이다.
해설: 현재 값에 비례해 증가하므로 지수함수가 해가 된다. 초기조건이 출발 크기를 정한다.
풀이: 평형점은 변화율이 0인 점이므로
에서
이다.
해설: 이 두 점에서는 시간이 지나도 상태가 더 이상 변하지 않는다.
풀이: 현재 파라미터가 gradient를 통해 다음 이동 방향을 결정하기 때문이다.
해설: 현재 상태가 미래 변화를 정한다는 구조가 같기 때문에, 최적화도 동역학의 관점에서 이해할 수 있다.
에서
의 부호에 따라 거동이 어떻게 달라지는지 말할 수 있는가?
4. 평형점이 무엇인지, 안정적이라는 말이 무엇인지 설명할 수 있는가?
5. 식
를 최적화의 동역학으로 읽을 수 있는가?