이 강의의 목표는 복잡한 함수를 가까운 곳에서 쉬운 다항식으로 바꾸는 법을 아주 기초부터 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
f(x)≈f(a)+f′(a)(x−a)+2f′′(a)(x−a)2
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
이번 강에서 새로 등장하는 어휘만 모았습니다. 함수·그래프·기울기(3강), 미분·도함수·접선(12강)은 앞서 본 그대로 씁니다.
| 말 |
뜻 |
| 근사 |
정확히 같지는 않지만 충분히 비슷하게 보는 것 |
| 기준점 a |
가까이 들여다볼 중심 위치 |
| 1차 근사 |
값과 기울기만 쓰는 근사(접선) |
| 2차 근사 |
휘어짐까지 쓰는 근사(접하는 포물선) |
| n계 도함수 f^ |
f를 n번 미분한 함수 |
| 계승 n! |
1×2×⋯×n, 단 0!=1 |
| Taylor 다항식 |
기준점의 도함수 정보로 만든 근사 다항식 |
| 나머지항 |
근사 다항식과 실제값의 차이(오차) |
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
지구는 둥글지만 동네 지도에서는 평평하게 보아도 큰 문제가 없습니다. Taylor 근사도 비슷합니다. 함수 전체는 복잡해도 한 점 근처에서는 직선이나 포물선으로 볼 수 있습니다.
- f(a)는 기준점에서의 높이입니다.
- f′(a)는 기준점에서의 기울기입니다.
- f′′(a)는 기준점에서의 휘어짐입니다.
- x가 a에 가까울수록 이 근사는 더 믿기 쉽습니다.
즉 핵심 식은 단순히 기호를 나열한 것이 아니라, 무엇을 보고 무엇을 계산할지 알려 주는 문장입니다.
12강에서 미분계수 f′(a)가 점 (a,f(a))에서의 접선의 기울기임을 봤습니다. 그 접선을 식으로 쓰면
L(x)=f(a)+f′(a)(x−a)
입니다. 이것이 1차 근사입니다. x=a에서 값도 기울기도 원함수와 정확히 같습니다.
L(a)=f(a),L′(a)=f′(a)
기준점 바로 근처에서는 곡선과 접선이 거의 겹칩니다. 하지만 곡선이 휘어 있으면 조금만 멀어져도 벌어집니다. 이 휘어짐을 담으려면 한 항을 더 붙여야 합니다.
2차 근사를 다음처럼 미지의 계수로 놓고 시작합니다.
P(x)=c0+c1(x−a)+c2(x−a)2
목표는 P가 기준점 a에서 원함수 f와 0계·1계·2계 도함수까지 모두 같아지도록 계수 c0,c1,c2를 정하는 것입니다. 도함수가 일치하는 만큼 두 함수는 그 점 근처에서 더 오래 붙어 있습니다.
0계 도함수(함수값) 일치. x=a를 넣으면 (x−a) 항이 모두 사라집니다.
P(a)=c0⇒c0=f(a)
1계 도함수 일치. P를 한 번 미분하면
P′(x)=c1+2c2(x−a)
x=a를 넣으면
P′(a)=c1⇒c1=f′(a)
2계 도함수 일치. P를 다시 미분하면
P′′(x)=2c2
x=a를 넣으면 P′′(a)=2c2입니다. 이것이 f′′(a)와 같아야 하므로
2c2=f′′(a)⇒c2=2f′′(a)
(x−a)2을 두 번 미분하면 앞에 2가 튀어나오므로, 그 2를 상쇄하려고 계수에 21이 붙는 것입니다. 이렇게 해서 핵심 식
f(x)≈f(a)+f′(a)(x−a)+2f′′(a)(x−a)2
이 유도됩니다. 계수는 외우는 것이 아니라 "도함수가 일치해야 한다"는 조건에서 자동으로 나옵니다.
같은 논리를 n계 도함수까지 이어 갑니다. (x−a)n 항을 n번 미분하면 앞에 n×(n−1)×⋯×1=n!이 튀어나옵니다. 이 n!을 상쇄하려면 계수를 n!f(n)(a)로 잡아야 n계 도함수가 f(n)(a)와 일치합니다. 따라서 n차 항은
n!f(n)(a)(x−a)n
이고, n차 Taylor 다항식은 이 항들을 0차부터 더한 것입니다.
Pn(x)=f(a)+f′(a)(x−a)+2!f′′(a)(x−a)2+⋯+n!f(n)(a)(x−a)n
시그마로 짧게 쓰면 다음과 같습니다(0!=1, f(0)=f로 약속).
Pn(x)=k=0∑nk!f(k)(a)(x−a)k
근사인 이상 오차가 있습니다. 실제값과 n차 다항식의 차이를 나머지항 Rn(x)이라 합니다.
f(x)=Pn(x)+Rn(x)
이 오차의 크기는 라그랑주(Lagrange) 나머지항으로 나타낼 수 있습니다. a와 x 사이의 어떤 점 ξ가 존재해서
Rn(x)=(n+1)!f(n+1)(ξ)(x−a)n+1
이 성립합니다. 이 식은 세 가지를 말해 줍니다.
- (x−a)n+1 때문에, x가 a에 가까울수록 오차가 급격히 작아집니다.
- (n+1)!이 분모에 있어, 항을 더 많이 쓸수록(고차일수록) 오차가 줄어드는 경향이 있습니다.
- f(n+1)이 크게 요동치는 함수라면 오차가 커질 수 있습니다.
기준점을 a=0으로 잡은 전개를 특히 매클로린(Maclaurin) 전개라고 부릅니다. 자주 쓰는 세 가지를 직접 계산해 봅니다.
ex는 몇 번을 미분해도 자기 자신이므로 f(k)(x)=ex, 따라서 f(k)(0)=1입니다. 일반항 k!f(k)(0)xk=k!xk이므로
ex=1+x+2!x2+3!x3+⋯=k=0∑∞k!xk
도함수가 sinx→cosx→−sinx→−cosx로 네 번마다 반복됩니다. x=0에서 값은 차례로 0,1,0,−1이므로 짝수 차 항은 모두 사라지고 홀수 차 항만 부호를 번갈아 남습니다.
sinx=x−3!x3+5!x5−⋯=k=0∑∞(2k+1)!(−1)kx2k+1
f(x)=(1−x)−1을 미분하면 f′(x)=(1−x)−2, f′′(x)=2(1−x)−3, f(k)(x)=k!(1−x)−(k+1)입니다. x=0에서 f(k)(0)=k!이므로 계수 k!f(k)(0)=1이 되어
1−x1=1+x+x2+x3+⋯=k=0∑∞xk(∣x∣<1)
모든 계수가 1인 깔끔한 급수입니다. 단 ∣x∣<1일 때만 수렴합니다.
- 기준점 a를 정합니다.
- 기준점의 함수값 f(a)를 구합니다.
- 도함수 f′(a)를 구해 직선 근사를 만듭니다.
- 필요하면 f′′(a)로 휘어짐 항을 더해 2차 근사를 만듭니다.
- 더 정밀하게는 k!f(k)(a)(x−a)k 항을 이어 붙입니다.
- 기준점에서 멀어질수록 나머지항이 커지므로 조심합니다.
이 순서를 말로 설명할 수 있으면, 공식을 완전히 외우지 않아도 다시 만들어 낼 수 있습니다.
문제: f(x)=x의 1차 근사를 이용해 1.02의 근삿값을 구하시오.
풀이:
기준점을 a=1로 잡습니다(1=1을 알기 때문입니다).
f′(x)=2x1⇒f′(1)=21
1차 근사식은
x≈f(1)+f′(1)(x−1)=1+21(x−1)
x=1.02를 넣으면
1.02≈1+21(0.02)=1.01
실제값은 1.02=1.00995…이므로 오차는 약 0.00005로 아주 작습니다.
문제: 같은 f(x)=x를 a=1에서 2차 근사하고, 1.02를 다시 어림하시오.
풀이:
f′′(x)=−41x−3/2⇒f′′(1)=−41
2차 근사식은
x≈1+21(x−1)−81(x−1)2
x=1.02, 즉 x−1=0.02를 넣으면
1.02≈1+0.01−81(0.0004)=1.01−0.00005=1.00995
실제값 1.0099504…와 소수 다섯째 자리까지 일치합니다. 휘어짐 항 하나를 더한 것만으로 오차가 크게 줄었습니다.
문제: 7.1절의 전개로 e0.1을 3차 항까지 써서 구하시오.
풀이:
e0.1≈1+0.1+20.12+60.13=1+0.1+0.005+0.000167=1.105167
실제값 e0.1=1.105170…과 소수 다섯째 자리까지 맞습니다. 기준점 0에 가까운 입력이라 몇 항만으로도 충분합니다.
Taylor 근사는 AI 학습에서 손실함수를 다루는 표준 도구입니다.
손실함수 L(θ)를 현재 매개변수 θ0 근처에서 2차까지 전개하면(다변수판)
L(θ)≈L(θ0)+∇L(θ0)⊤(θ−θ0)+21(θ−θ0)⊤H(θ−θ0)
가 됩니다. 여기서 ∇L은 그라디언트(14강 예고: 13강에서 다룬 그라디언트), H는 2계 도함수를 모은 헤세 행렬입니다. 손실을 국소적으로 포물면으로 보는 것이 이 근사의 뜻입니다.
- 경사하강법은 위 근사의 1차 항(∇L)만 써서 감소 방향으로 이동합니다.
- **뉴턴법(2차 최적화)**은 2차 항(H)까지 써서, 포물면의 최저점으로 한 번에 겨냥합니다.
θnew=θ0−H−1∇L(θ0)
곡률 정보를 쓰기 때문에 잘 맞을 때는 훨씬 빠르게 수렴합니다. 다만 H를 계산·역행렬하는 비용이 커서, 실제 딥러닝에서는 이를 근사한 방법(L-BFGS, 자연그라디언트 등)을 씁니다.
한 줄로: Taylor 근사는 복잡한 손실을 국소적으로 포물면으로 바꿔, 어디로 얼마나 움직일지 정하게 해 준다.
- 오늘 배운 핵심은 복잡한 함수를 가까운 곳에서 쉬운 다항식으로 바꾸는 법입니다.
- 1차 근사는 접선, 2차 근사는 접하는 포물선입니다.
- 2차 계수가 2f′′(a)인 이유는 (x−a)2을 두 번 미분하면 나오는 2를 상쇄하기 위해서입니다.
- 일반항은 k!f(k)(a)(x−a)k, 전체는 k=0∑nk!f(k)(a)(x−a)k입니다.
- 오차는 라그랑주 나머지항 Rn(x)=(n+1)!f(n+1)(ξ)(x−a)n+1로 잽니다.
- ex, sinx, 1−x1는 a=0에서 자주 쓰는 표준 전개입니다.
- AI에서는 손실함수의 2차 근사가 뉴턴법과 2차 최적화의 뼈대입니다.
- 핵심 식은 다음과 같습니다.
f(x)≈f(a)+f′(a)(x−a)+2f′′(a)(x−a)2
- Taylor 근사에 기준점이 필요한 이유는 무엇인가?
- 1차 근사와 2차 근사는 무엇이 다른가?
- 2차 근사 계수가 왜 f′′(a)/2인지 도함수 일치 조건으로 설명할 수 있는가?
- 일반항 k!f(k)(a)(x−a)k에서 k!이 왜 나오는지 말할 수 있는가?
- ex를 a=0에서 4차 항까지 써 볼 수 있는가?
- 1.05를 1차 근사로 어림할 수 있는가?
- 근사를 너무 멀리 쓰면 왜 위험한지 나머지항으로 설명할 수 있는가?
- 손실함수의 2차 근사가 뉴턴법과 어떻게 연결되는지 설명할 수 있는가?