이 단계는 VLM 특화 교재의 핵심입니다. generic multimodal alignment를 넘어, 실제 제품에서 가장 자주 문제 되는 OCR, document/chart understanding, spatial reference, counting, grounded reasoning을 집중적으로 다룹니다.
- OCR과 document understanding이 왜 고해상도·고정밀 문제인지 배운다.
- box, mask, region token, spatial reference가 어떻게 쓰이는지 읽는다.
- referring expression과 counting 같은 세밀한 reasoning 과제를 이해한다.
- multimodal chain-of-thought가 visual reasoning에 미치는 영향을 본다.
- grounding failure와 hallucination이 구조적으로 어떻게 생기는지 정리한다.
- grounding: 답변이 실제 시각 입력과 연결되어 있는 성질입니다.
- spatial reference: 왼쪽, 위, 가운데처럼 위치를 가리키는 표현입니다.
- region token: 특정 영역 표현을 따로 다루는 토큰입니다.
- hallucination: 입력에 없는 내용을 그럴듯하게 만들어 내는 오류입니다.
- 16강에서는 OCR과 문서 이해를 본다.
- 17강에서는 영역 표현과 위치 참조를 읽는다.
- 18강에서는 region reasoning과 counting을 정리한다.
- 19강에서는 visual reasoning과 chain-of-thought를 본다.
- 20강에서는 grounding failure가 왜 생기는지 구조로 묶는다.
-
- OCR, document understanding, chart understanding: 문자와 구조 정보 읽기.
-
- box, mask, region token, spatial reference: 영역 표현과 위치 참조 이해.
-
- referring expression, region reasoning, counting: 세밀한 grounded reasoning 읽기.
-
- multimodal chain-of-thought와 visual reasoning: 추론 과정과 근거 연결.
-
- grounding failure와 hallucination의 구조: 오류 메커니즘 정리.
- 이 단계는 VLM에서 가장 중요한
믿을 수 있게 보는 능력을 다룹니다.
- 유창한 답변은 grounded한 답변과 다릅니다.
- OCR 실패는 단순 vision 문제라기보다 resolution, token budget, structure 이해의 결합 문제일 수 있습니다.
- region reasoning과 captioning의 차이를 설명할 수 있다.
- OCR과 spatial reference가 왜 VLM에서 핵심 난제인지 구조적으로 말할 수 있다.
- hallucination이 어디서 생기는지 vision, connector, LM 관점으로 나눠 설명할 수 있다.