이 강의의 목표는 토큰들이 서로를 얼마나 참고할지 계산하는 법을 아주 기초부터 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
Attention ( Q , K , V ) = softmax ( Q K T d k ) V A t t e n t i o n ( Q , K , V ) = s o f t m a x ( d k Q K T ) V
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
말
뜻
토큰
문장을 모델이 처리하는 작은 단위
임베딩
토큰을 숫자 벡터로 바꾼 것
Query Q Q
무엇을 찾는지 나타내는 벡터
Key K K
각 토큰이 가진 표지 벡터
Value V V
실제로 섞어 가져올 정보
d k d k Query와 Key 벡터의 길이(차원 수)
softmax
점수를 확률처럼 더해서 1이 되게 바꾸는 함수
위치정보
단어 순서를 알려 주는 정보
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
문장을 읽을 때 어떤 단어는 바로 앞 단어를, 어떤 단어는 멀리 떨어진 단어를 참고해야 합니다. attention은 이 참고 비율을 숫자로 계산합니다.
핵심 식을 오른쪽 안쪽부터 바깥으로 한 단계씩 읽습니다. 기호에 실제 벡터를 넣어 보면 각 단계가 무엇을 하는지 분명해집니다.
Query 하나 q q k 1 , k 2 k 1 , k 2 d k = 2 d k = 2
q = [ 1 1 ] , k 1 = [ 1 0 ] , k 2 = [ 0 2 ] q = [ 1 1 ] , k 1 = [ 1 0 ] , k 2 = [ 0 2 ]
q q
q T k 1 = 1 ⋅ 1 + 1 ⋅ 0 = 1 , q T k 2 = 1 ⋅ 0 + 1 ⋅ 2 = 2 q T k 1 = 1 ⋅ 1 + 1 ⋅ 0 = 1 , q T k 2 = 1 ⋅ 0 + 1 ⋅ 2 = 2
이것이 Q K T Q K T [ 1 , 2 ] [ 1 , 2 ] k 2 k 2 q q
d k = 2 d k = 2 d k = 2 ≈ 1.414 d k = 2 ≈ 1 . 4 1 4
q T k 1 d k = 1 1.414 ≈ 0.707 , q T k 2 d k = 2 1.414 ≈ 1.414 d k q T k 1 = 1 . 4 1 4 1 ≈ 0 . 7 0 7 , d k q T k 2 = 1 . 4 1 4 2 ≈ 1 . 4 1 4
왜 하필 d k d k d k d k
q T k = ∑ i = 1 d k q i k i q T k = i = 1 ∑ d k q i k i
각 성분 q i , k i q i , k i d k d k d k d k d k d k d k d k
softmax는 점수 벡터 z = [ z 1 , … , z n ] z = [ z 1 , … , z n ]
softmax ( z ) i = e z i ∑ j = 1 n e z j s o f t m a x ( z ) i = ∑ j = 1 n e z j e z i
앞의 점수 z = [ 0.707 , 1.414 ] z = [ 0 . 7 0 7 , 1 . 4 1 4 ]
e 0.707 ≈ 2.028 , e 1.414 ≈ 4.113 e 0 . 7 0 7 ≈ 2 . 0 2 8 , e 1 . 4 1 4 ≈ 4 . 1 1 3
합은 2.028 + 4.113 = 6.141 2 . 0 2 8 + 4 . 1 1 3 = 6 . 1 4 1
α 1 = 2.028 6.141 ≈ 0.330 , α 2 = 4.113 6.141 ≈ 0.670 α 1 = 6 . 1 4 1 2 . 0 2 8 ≈ 0 . 3 3 0 , α 2 = 6 . 1 4 1 4 . 1 1 3 ≈ 0 . 6 7 0
입니다. 이 두 값 α 1 , α 2 α 1 , α 2
softmax 결과가 왜 확률이 될까요? 이유는 두 가지입니다.
e z i e z i 분모가 모든 항의 합이므로, 비율을 모두 더하면 반드시 1이 됩니다.
α 1 + α 2 ≈ 0.330 + 0.670 = 1 α 1 + α 2 ≈ 0 . 3 3 0 + 0 . 6 7 0 = 1
즉 각 항이 0과 1 사이이고 전체 합이 1이므로, softmax 결과는 "각 토큰을 얼마의 비율로 볼지"라는 확률분포가 됩니다.
Value 두 개가 다음과 같다고 합시다.
v 1 = [ 1 0 ] , v 2 = [ 0 1 ] v 1 = [ 1 0 ] , v 2 = [ 0 1 ]
출력은 참고 비율로 Value를 가중합한 것입니다.
출력 = α 1 v 1 + α 2 v 2 = 0.330 [ 1 0 ] + 0.670 [ 0 1 ] = [ 0.330 0.670 ] 출력 = α 1 v 1 + α 2 v 2 = 0 . 3 3 0 [ 1 0 ] + 0 . 6 7 0 [ 0 1 ] = [ 0 . 3 3 0 0 . 6 7 0 ]
이것이 핵심 식 전체가 하는 일입니다. 점수를 내적으로 만들고, d k d k
기존의 순차 모델은 단어를 앞에서부터 하나씩 읽으며 정보를 좁은 상태 하나에 눌러 담았습니다. 그래서 문장이 길어지면 멀리 떨어진 단어 사이의 관계가 흐려졌습니다. 예를 들어 "철수는 어제 도서관에서 빌린 책을 오늘 그에게 돌려주었다"에서 "그에게"가 누구인지 알려면 문장 앞쪽을 다시 봐야 합니다.
attention은 이 문제를 정면으로 풉니다. 각 토큰이 모든 토큰과 직접 점수를 매기고, 필요한 곳을 골라 봅니다. 거리가 멀어도 점수만 높으면 바로 참고할 수 있습니다. 게다가 이 계산은 토큰마다 독립이라 한꺼번에(병렬로) 처리할 수 있습니다. Transformer가 큰 데이터에서 빠르게 학습되는 이유가 여기에 있습니다. 그래서 이 강의에서는 attention을 "먼 관계를 직접, 그리고 확률적으로 참고하는 장치"로 이해합니다.
토큰을 임베딩으로 바꾼다.
각 토큰에서 Query, Key, Value를 만든다.
Query와 Key를 내적해 점수 Q K T Q K T
d k d k softmax로 참고 비율(확률)을 만든다.
그 비율로 Value를 섞는다.
이 순서를 말로 설명할 수 있으면, 공식을 완전히 외우지 않아도 다시 만들어 낼 수 있습니다.
attention은 점수를 내적으로만 계산하므로, 토큰의 순서를 그대로는 알지 못합니다. "개가 사람을 물었다"와 "사람이 개를 물었다"는 단어 집합이 같아 구분이 어렵습니다. 그래서 각 토큰 임베딩에 위치에 따라 달라지는 벡터를 더해 줍니다. 이것을 positional encoding이라고 합니다.
가장 널리 쓰이는 사인·코사인 방식은 위치 p o s p o s i i
P E ( p o s , 2 i ) = sin ( p o s 1000 0 2 i / d ) , P E ( p o s , 2 i + 1 ) = cos ( p o s 1000 0 2 i / d ) P E ( p o s , 2 i ) = sin ( 1 0 0 0 0 2 i / d p o s ) , P E ( p o s , 2 i + 1 ) = cos ( 1 0 0 0 0 2 i / d p o s )
여기서 d d i i
문제: Query q = [ 2 , 0 ] q = [ 2 , 0 ] d k = 2 d k = 2
k 1 = [ 2 0 ] , k 2 = [ 0 2 ] , v 1 = [ 10 0 ] , v 2 = [ 0 10 ] k 1 = [ 2 0 ] , k 2 = [ 0 2 ] , v 1 = [ 1 0 0 ] , v 2 = [ 0 1 0 ]
풀이:
먼저 내적 점수를 구합니다.
q T k 1 = 2 ⋅ 2 + 0 ⋅ 0 = 4 , q T k 2 = 2 ⋅ 0 + 0 ⋅ 2 = 0 q T k 1 = 2 ⋅ 2 + 0 ⋅ 0 = 4 , q T k 2 = 2 ⋅ 0 + 0 ⋅ 2 = 0
d k = 2 ≈ 1.414 d k = 2 ≈ 1 . 4 1 4
4 1.414 ≈ 2.828 , 0 1.414 = 0 1 . 4 1 4 4 ≈ 2 . 8 2 8 , 1 . 4 1 4 0 = 0
softmax를 적용합니다.
e 2.828 ≈ 16.92 , e 0 = 1 , 합 = 17.92 e 2 . 8 2 8 ≈ 1 6 . 9 2 , e 0 = 1 , 합 = 1 7 . 9 2
α 1 = 16.92 17.92 ≈ 0.944 , α 2 = 1 17.92 ≈ 0.056 α 1 = 1 7 . 9 2 1 6 . 9 2 ≈ 0 . 9 4 4 , α 2 = 1 7 . 9 2 1 ≈ 0 . 0 5 6
Value를 섞습니다.
출력 = 0.944 [ 10 0 ] + 0.056 [ 0 10 ] = [ 9.44 0.56 ] 출력 = 0 . 9 4 4 [ 1 0 0 ] + 0 . 0 5 6 [ 0 1 0 ] = [ 9 . 4 4 0 . 5 6 ]
q q k 1 k 1 v 1 v 1
오늘 배운 핵심은 토큰들이 서로를 얼마나 참고할지 계산하는 법입니다.
Q K T Q K T d k d k d k d k softmax 결과는 각 항이 양수이고 합이 1이라 확률이 됩니다.
그 확률로 Value를 가중합한 것이 attention 출력입니다.
순서를 구분하려면 positional encoding을 임베딩에 더합니다.
핵심 식은 다음과 같습니다.
Attention ( Q , K , V ) = softmax ( Q K T d k ) V A t t e n t i o n ( Q , K , V ) = s o f t m a x ( d k Q K T ) V
Q K T Q K T 점수를 d k d k
softmax 결과가 왜 확률분포가 되는가?
positional encoding은 왜 필요한가?