멀티모달 연구는 이해를 넘어 생성과 통합으로 확장됩니다. 이 강의는 multimodal diffusion과 unified model이 어떤 방향을 보여 주는지 설명합니다.
- diffusion: 점진적으로 노이즈를 제거하며 샘플을 생성하는 모델 계열입니다.
- unified model: 여러 작업과 모달을 하나의 모델로 처리하려는 접근입니다.
- latent space: 압축된 표현 공간입니다.
- conditional generation: 조건에 맞춰 출력을 생성하는 방식입니다.
- diffusion 기반 멀티모달 생성은 무엇을 잘하는가
- unified model은 왜 매력적인가
- 이해형 VLM과 생성형 멀티모달 모델은 어디서 만나는가
- 앞으로의 멀티모달 시스템은 보고 말하는 것을 넘어 그리고 편집하는 방향으로 갑니다.
- unified model은 시스템 단순화와 범용성 측면에서 큰 가능성을 가집니다.
- autoregressive와 diffusion의 차이
- shared representation across tasks
- generation과 understanding의 연결
- unified tokenization의 어려움
- multimodal diffusion의 특징을 설명하라.
- unified model이 왜 매력적인지 말하라.
- 생성형과 이해형 멀티모달 모델의 연결점을 설명하라.