정답만 맞히는 것을 넘어, 어떻게 보았고 어떻게 추론했는지를 드러내는 시도가 multimodal chain-of-thought입니다. 이 강의는 visual reasoning과 explanation 경로를 설명합니다.
- chain-of-thought: 중간 추론 과정을 언어로 전개하는 방식입니다.
- visual reasoning: 시각 근거를 이용한 추론입니다.
- intermediate step: 최종 답 전에 거치는 중간 판단 단계입니다.
- rationale: 답을 뒷받침하는 설명입니다.
- 멀티모달 chain-of-thought는 무엇을 해결하려 하는가
- 설명이 길어지면 항상 더 나아지는가
- visual reasoning을 평가한다는 것은 무엇을 뜻하는가
- 중간 reasoning은 성능 향상 도구가 될 수 있지만, 가짜 설명을 늘릴 위험도 있습니다.
- 시각 근거와 언어 reasoning이 따로 놀면 그럴듯한 오답이 나옵니다.
- implicit reasoning과 explicit rationale 차이
- grounded explanation의 어려움
- multi-hop visual reasoning
- rationale quality와 answer quality 불일치
- multimodal chain-of-thought의 목적을 설명하라.
- explanation이 항상 faithful하지 않은 이유를 말하라.
- visual reasoning을 평가할 때 무엇을 봐야 하는지 설명하라.