이 강의의 목표는 데이터에 노이즈를 조금씩 더하는 정방향 과정과, 그것을 거꾸로 지워 데이터를 만드는 역방향 과정을 수식으로 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
x t = α ˉ t x 0 + 1 − α ˉ t ε , ε ∼ N ( 0 , I ) x t = α ˉ t x 0 + 1 − α ˉ t ε , ε ∼ N ( 0 , I )
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
말
뜻
x 0 x 0 원본 데이터(예: 깨끗한 이미지)
x t x t t t
ε ε 표준정규에서 뽑은 노이즈
α ˉ t α ˉ t 0 0 1 1 t t
score
로그확률밀도의 기울기 ∇ x log p ( x ) ∇ x log p ( x )
역과정
노이즈에서 데이터로 돌아가는 과정
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
깨끗한 그림에 먼지를 조금씩 뿌리면 결국 원래 그림이 안 보입니다. diffusion 모델은 먼지를 뿌리는 쉬운 과정을 정해 두고, 거꾸로 먼지를 지우는 어려운 과정을 학습합니다. 학습이 끝나면 순수한 먼지에서 시작해 그림을 만들어 냅니다.
핵심 식에 실제 기호를 넣어 읽어 봅니다.
x t = α ˉ t x 0 + 1 − α ˉ t ε x t = α ˉ t x 0 + 1 − α ˉ t ε
α ˉ t x 0 α ˉ t x 0 t t α ˉ t α ˉ t 1 − α ˉ t ε 1 − α ˉ t ε t t 두 계수의 제곱을 더하면 α ˉ t + ( 1 − α ˉ t ) = 1 α ˉ t + ( 1 − α ˉ t ) = 1
즉 x t x t x 0 x 0 ε ε t = 0 t = 0 t t α ˉ t → 0 α ˉ t → 0 x t ≈ ε x t ≈ ε
데이터의 분포 p ( x ) p ( x ) x t x t
그래서 diffusion은 문제를 뒤집습니다. 쉬운 정방향 과정을 정해 두고, 모델에게는 "노이즈를 한 단계 지우는 방향"만 배우게 합니다. 이 방향이 바로 score, 즉 로그확률밀도가 커지는 쪽입니다. 데이터 분포 전체를 한 번에 배우는 대신, 각 노이즈 수준에서 국소적으로 "어디로 가야 더 그럴듯한가"만 배우면 되므로 학습이 안정적입니다.
score는 확률밀도에 로그를 씌운 뒤 위치로 미분한 벡터입니다.
s ( x ) = ∇ x log p ( x ) s ( x ) = ∇ x log p ( x )
이 벡터는 "확률이 커지는 방향", 즉 더 그럴듯한 데이터 쪽을 가리킵니다. 밀도가 높은 곳으로 올라가는 나침반이라고 볼 수 있습니다.
정방향 과정에서 x t x t x 0 x 0
p ( x t ∣ x 0 ) = N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I ) p ( x t ∣ x 0 ) = N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I )
이것이 핵심 식과 같은 말입니다. 평균이 α ˉ t x 0 α ˉ t x 0 1 − α ˉ t 1 − α ˉ t x t x t x t = α ˉ t x 0 + 1 − α ˉ t ε x t = α ˉ t x 0 + 1 − α ˉ t ε
스칼라 예로 원본을 x 0 = 1 x 0 = 1 ε = 0.5 ε = 0 . 5
이른 시점 α ˉ t = 0.81 α ˉ t = 0 . 8 1 0.81 = 0.9 0 . 8 1 = 0 . 9 1 − 0.81 = 0.19 ≈ 0.436 1 − 0 . 8 1 = 0 . 1 9 ≈ 0 . 4 3 6
x t = 0.9 ⋅ 1 + 0.436 ⋅ 0.5 ≈ 1.12 x t = 0 . 9 ⋅ 1 + 0 . 4 3 6 ⋅ 0 . 5 ≈ 1 . 1 2
원본 1 1
중간 시점 α ˉ t = 0.36 α ˉ t = 0 . 3 6 0.36 = 0.6 0 . 3 6 = 0 . 6 0.64 = 0.8 0 . 6 4 = 0 . 8
x t = 0.6 ⋅ 1 + 0.8 ⋅ 0.5 = 0.6 + 0.4 = 1.0 x t = 0 . 6 ⋅ 1 + 0 . 8 ⋅ 0 . 5 = 0 . 6 + 0 . 4 = 1 . 0
원본과 노이즈가 비슷한 비중으로 섞였습니다.
늦은 시점 α ˉ t = 0.01 α ˉ t = 0 . 0 1 0.01 = 0.1 0 . 0 1 = 0 . 1 0.99 ≈ 0.995 0 . 9 9 ≈ 0 . 9 9 5
x t = 0.1 ⋅ 1 + 0.995 ⋅ 0.5 ≈ 0.60 x t = 0 . 1 ⋅ 1 + 0 . 9 9 5 ⋅ 0 . 5 ≈ 0 . 6 0
이제 값의 대부분이 노이즈에서 옵니다. α ˉ t α ˉ t x t x t
정방향 분포가 정규분포이므로 그 score를 손으로 구할 수 있습니다. log p ( x t ∣ x 0 ) = − ∥ x t − α ˉ t x 0 ∥ 2 2 ( 1 − α ˉ t ) + 상수 log p ( x t ∣ x 0 ) = − 2 ( 1 − α ˉ t ) ∥ x t − α ˉ t x 0 ∥ 2 + 상수 x t x t
∇ x t log p ( x t ∣ x 0 ) = − x t − α ˉ t x 0 1 − α ˉ t = − ε 1 − α ˉ t ∇ x t log p ( x t ∣ x 0 ) = − 1 − α ˉ t x t − α ˉ t x 0 = − 1 − α ˉ t ε
가 됩니다(마지막 등식은 핵심 식에서 x t − α ˉ t x 0 = 1 − α ˉ t ε x t − α ˉ t x 0 = 1 − α ˉ t ε score는 더해진 노이즈 ε ε 입니다.
score matching 은 모델 s θ s θ
L score = E [ ∥ s θ ( x t , t ) − ∇ x t log p ( x t ∣ x 0 ) ∥ 2 ] L score = E [ ∥ ∥ ∥ s θ ( x t , t ) − ∇ x t log p ( x t ∣ x 0 ) ∥ ∥ ∥ 2 ]
score가 노이즈와 비례하므로, 실제로는 모델이 노이즈 ε ε denoising 목적함수 입니다.
L denoise = E x 0 , ε , t [ ∥ ε − ε θ ( x t , t ) ∥ 2 ] L denoise = E x 0 , ε , t [ ∥ ∥ ∥ ε − ε θ ( x t , t ) ∥ ∥ ∥ 2 ]
모델 ε θ ε θ x t x t
역과정 은 이 예측을 이용해 노이즈를 한 단계씩 덜어 냅니다. 순수 노이즈 x T ∼ N ( 0 , I ) x T ∼ N ( 0 , I ) ε θ ε θ x t → x t − 1 x t → x t − 1 T T 0 0 x 0 x 0
정방향 과정 x t = α ˉ t x 0 + 1 − α ˉ t ε x t = α ˉ t x 0 + 1 − α ˉ t ε
α ˉ t α ˉ t x t x t score ∇ x log p ( x ) ∇ x log p ( x )
정방향이 정규분포라, score는 더해진 노이즈 ε ε
모델은 score를 맞히거나(노이즈 ε ε
역과정은 순수 노이즈에서 시작해 예측한 노이즈를 단계적으로 지워 데이터를 만든다.
핵심 식은 다음과 같습니다.
x t = α ˉ t x 0 + 1 − α ˉ t ε x t = α ˉ t x 0 + 1 − α ˉ t ε
정방향 식에서 두 계수의 제곱을 더하면 왜 1이 되고, 그것이 무엇을 뜻하는가?
score ∇ x t log p ( x t ∣ x 0 ) ∇ x t log p ( x t ∣ x 0 ) ε ε
denoising 목적함수 ∥ ε − ε θ ∥ 2 ∥ ε − ε θ ∥ 2