모른다고 말할 수 있는 능력은 정확도만큼 중요합니다. 이 강의는 calibration, uncertainty, abstention을 신뢰성 관점에서 설명합니다.
- calibration: 자신감과 실제 정확도의 일치 정도입니다.
- uncertainty: 모델이 얼마나 불확실한지에 대한 신호입니다.
- abstention: 모를 때 답을 보수적으로 멈추는 행동입니다.
- confidence: 모델이 스스로 강하게 믿는 정도입니다.
- 자신감이 높다고 왜 항상 맞는 것은 아닌가
- abstention은 언제 유용한가
- uncertainty를 읽는 신호는 어떻게 쓰이는가
- 실서비스에서는 틀린 단정이 조심스러운 유보보다 더 위험할 때가 많습니다.
- 멀티모달 입력은 OCR 실패나 이미지 품질 문제 때문에 불확실성이 더 커질 수 있습니다.
- overconfidence와 risk
- selective answering
- visual ambiguity와 uncertainty
- calibrated product behavior
- calibration이 무엇인지 설명하라.
- abstention이 필요한 상황을 예로 들어라.
- uncertainty가 멀티모달에서 중요한 이유를 설명하라.