이 단계는 점수가 높은 모델과 믿고 쓸 수 있는 모델을 구분하는 단계입니다. benchmark와 leaderboard를 보는 법보다, faithfulness, verifier, abstention, human evaluation 같은 VLM 신뢰성 문제에 더 무게를 둡니다.
- benchmark와 evaluation protocol을 읽는 기준을 배운다.
- hallucination taxonomy와 faithfulness 개념을 정리한다.
- calibration, uncertainty, abstention을 신뢰성 문제로 이해한다.
- verifier와 retrieval grounding이 hallucination 완화에 어떻게 쓰이는지 본다.
- human evaluation과 제품 지표를 연결하는 법을 익힌다.
- protocol: 평가를 어떤 조건과 절차로 수행하는지에 대한 규칙입니다.
- faithfulness: 답변이 실제 입력과 근거를 충실히 반영하는 정도입니다.
- calibration: 모델의 자신감과 실제 정확도가 얼마나 맞는지입니다.
- abstention: 모를 때 멈추거나 보수적으로 답하는 행동입니다.
- 26강에서는 benchmark와 leaderboard를 읽는다.
- 27강에서는 hallucination taxonomy를 정리한다.
- 28강에서는 calibration과 abstention을 본다.
- 29강에서는 verifier와 retrieval grounding을 이해한다.
- 30강에서는 human evaluation과 product metric을 연결한다.
-
- benchmark, leaderboard, evaluation protocol: 평가 문서를 읽는 기준 만들기.
-
- hallucination taxonomy와 faithfulness: 오류 유형 정리.
-
- calibration, uncertainty, abstention: 불확실성 다루기.
-
- data filtering, verifier, retrieval grounding: 완화 전략 비교.
-
- human evaluation과 product metric: 실제 제품 검증 언어 만들기.
- 이 단계는 VLM 평가의 본질을
trust 기준으로 다시 정리합니다.
- 벤치마크 점수는 모델의 일부만 보여 줍니다.
- hallucination 완화는 구조, 데이터, 평가, 제품 정책이 모두 얽힌 문제입니다.
- 어떤 평가가 빠져 있는지 benchmark 설명만 보고도 짚을 수 있다.
- hallucination과 calibration, faithfulness 문제를 구분해 설명할 수 있다.
- research metric과 product metric을 동시에 설계하는 관점을 가질 수 있다.