이 강의의 목표는 최신 AI 논문에 나오는 고급 수학을 역할 중심으로 읽는 법을 아주 기초부터 이해하는 것입니다.
먼저 오늘의 핵심 식을 봅니다.
γmin i,j∑γijcijsubject toj∑γij=ai, i∑γij=bj, γij≥0
이 식을 외우기 전에, 식 안의 말과 기호를 먼저 하나씩 풀어야 합니다.
| 말 |
뜻 |
| ai |
출발 분포에서 i 자리에 쌓인 양 |
| bj |
도착 분포에서 j 자리에 필요한 양 |
| c_ |
i에서 j로 옮기는 단위 비용 |
| \gamma_ |
i에서 j로 실제로 옮기는 양(coupling) |
| optimal transport |
한 분포를 다른 분포로 옮기는 최소 비용 문제 |
| manifold |
고차원 속의 낮은 차원 구조 |
| mechanistic interpretability |
모델 내부 작동을 수식으로 설명하려는 연구 |
수학에서 어려운 부분은 계산보다 읽기입니다. 뜻을 모르고 계산하면 공식이 암호처럼 보입니다.
최신 논문은 낯선 용어가 한꺼번에 나와 어렵습니다. 하지만 수학이 맡은 역할을 먼저 보면 덜 막힙니다. 거리를 재는지, 관계를 그리는지, 숨은 구조를 보는지부터 확인합니다.
핵심 식의 안쪽 ∑i,jγijcij는 "각 경로로 옮긴 양 γij에 그 경로의 단위 비용 cij를 곱해 모두 더한" 총비용입니다. 창고 두 곳에 쌓인 짐을 가게 두 곳으로 나르는 상황을 생각하면 됩니다. 최적수송은 이 총비용을 가장 작게 만드는 운송 계획 γ를 찾는 문제입니다.
목적함수만으로는 문제가 성립하지 않습니다. 아무것도 옮기지 않으면(γij=0) 비용이 0이라 무의미하기 때문입니다. 그래서 두 가지 보존 조건(marginal 제약)이 필요합니다.
j∑γij=ai(각 출발지 i에서 내보내는 양의 합은 그곳에 있던 양),
i∑γij=bj(각 도착지 j로 들어오는 양의 합은 그곳이 필요로 하는 양),
γij≥0(음수로 옮길 수는 없다).
즉 출발 분포 a를 남김없이 내보내고 도착 분포 b를 정확히 채워야 하며, 그 조건 안에서 총비용을 최소화합니다. 이 제약이 있어야 "a를 b로 옮긴다"는 문제가 비로소 완성됩니다.
출발 a=[0.5, 0.5], 도착 b=[0.5, 0.5], 비용
c=[0110]
를 봅니다. i에서 같은 번호 j로 옮기면 비용 0, 다른 곳으로 옮기면 비용 1입니다. 제약을 만족하는 계획으로 대각선에 모두 싣는 것을 고릅니다.
γ=[0.5000.5]
행 합은 0.5,0.5=a, 열 합은 0.5,0.5=b로 제약을 만족합니다. 총비용은
i,j∑γijcij=0.5⋅0+0⋅1+0⋅1+0.5⋅0=0
입니다. 반대로 어긋나게 실어 γ=[00.50.50]로 하면 총비용이 0.5⋅1+0.5⋅1=1이 됩니다. 그래서 최적 계획은 대각선에 싣는 것이고, 이때 두 분포 사이의 최소 수송 비용은 0입니다. 이 최소 비용 자체가 두 분포 사이의 거리(Wasserstein 거리) 역할을 합니다.
최신 논문의 수식은 낯설지만, 대부분 몇 가지 역할 중 하나를 맡습니다. 그 역할을 먼저 짚으면 처음 보는 식도 자리를 잡을 수 있습니다.
- 최적수송은 "두 분포가 얼마나 다른가"를 재는 거리 역할입니다. 생성모델이 만든 분포를 실제 분포에 가깝게 만들거나, 서로 다른 도메인의 특징을 정렬할 때 손실로 쓰입니다.
- 그래프는 "대상들 사이의 관계"를 노드와 엣지로 나타냅니다. 관계가 핵심인 데이터(분자, 소셜 네트워크, 지식)에서 정보가 이웃을 따라 전달되는 구조를 표현합니다.
- manifold는 "고차원 데이터가 사실은 낮은 차원 위에 놓여 있다"는 관점입니다. 임베딩 공간에서 의미 있는 방향과 이웃 관계를 이해하는 근거가 됩니다.
- mechanistic interpretability는 "모델 내부가 실제로 무엇을 계산하는가"를 수식으로 파헤칩니다.
그래서 이 강의에서는 고급 수학을 통째로 외우기보다, 각 식이 거리인지·관계인지·구조인지·해석인지부터 분류하는 훈련을 합니다.
- 논문이 푸는 문제를 한 문장으로 쓴다.
- 수학이 어떤 역할(거리·관계·구조·해석)을 맡는지 표시한다.
- 핵심 식의 기호 뜻과 제약을 표로 만든다.
- 실험이 주장과 연결되는지 확인한다.
- 가정과 한계를 따로 적는다.
이 순서를 말로 설명할 수 있으면, 공식을 완전히 외우지 않아도 다시 만들어 낼 수 있습니다.
정확한 최적수송은 계산이 무겁습니다. 그래서 목적함수에 엔트로피 항을 더해 문제를 매끄럽게 만든 뒤 반복으로 푸는 방법을 씁니다.
γmin i,j∑γijcij+εi,j∑γij(logγij−1)
뒤에 붙은 항은 계획 γ가 한쪽에 몰리지 않고 골고루 퍼지게 만드는 엔트로피 벌점입니다. ε이 크면 계획이 더 부드럽게 퍼지고, ε이 0에 가까우면 원래의 날카로운 최적수송으로 돌아갑니다. 이 정규화 덕분에 해가 행·열을 번갈아 정규화하는 간단한 곱셈 반복(Sinkhorn 알고리즘)으로 빠르게 구해지며, 미분도 가능해 딥러닝 손실로 바로 끼워 넣을 수 있습니다.
- manifold의 감각: 3차원 공간에 놓인 종이 한 장 위의 점들은 겉보기엔 3차원이지만 사실상 2차원(종이 위 좌표)으로 설명됩니다. 두 점 사이 거리도 공간을 가로지르는 직선이 아니라 종이 위를 따라가는 거리로 재야 맞습니다. 임베딩도 이렇게 "겉차원보다 낮은 진짜 차원"을 가진다고 봅니다.
- 그래프의 감각: 노드 특징을 이웃과 섞는 한 단계는 대략 hi′=∑j∈N(i)wijhj처럼 이웃 특징의 가중합으로 씁니다. 관계를 따라 정보가 한 칸씩 퍼집니다.
- mechanistic interpretability의 감각: 어떤 뉴런의 활성 a가 입력 특징 x에 대해 a≈wTx로 거의 선형이라면, 그 뉴런이 방향 w에 반응하는 "특징 탐지기"라고 해석할 수 있습니다. 내부 계산을 이런 작은 수식으로 환원해 설명합니다.
세 경우 모두 낯선 이름 뒤에 "거리·관계·구조"라는 익숙한 뼈대가 있습니다. 논문을 읽을 때는 이 뼈대부터 찾습니다.
- 오늘 배운 핵심은 최신 AI 논문의 고급 수학을 역할 중심으로 읽는 법입니다.
- 최적수송의 목적함수는 옮기는 총비용이고, marginal 제약 ∑jγij=ai, ∑iγij=bj가 문제를 완성합니다.
- 최소 수송 비용은 두 분포 사이의 거리 역할을 합니다.
- Sinkhorn은 엔트로피 정규화로 이 문제를 빠르고 미분 가능하게 풉니다.
- manifold·그래프·mechanistic interpretability는 각각 구조·관계·해석의 역할을 맡습니다.
- 핵심 식은 다음과 같습니다.
γmin i,j∑γijcijs.t.j∑γij=ai, i∑γij=bj, γij≥0
- 최적수송에서 marginal 제약이 없으면 왜 문제가 성립하지 않는가?
- 최소 수송 비용은 무엇의 거리 역할을 하는가?
- Sinkhorn의 엔트로피 항은 ε에 따라 해를 어떻게 바꾸는가?
- 논문을 읽을 때 식보다 먼저 정할 것은 무엇인가?