최종 품질은 결국 사람이 느끼는 유용성과 신뢰성으로 판단됩니다. 이 강의는 human evaluation과 product metric을 research metric과 연결해 설명합니다.
- human evaluation: 사람이 직접 응답 품질을 평가하는 방식입니다.
- product metric: 실제 서비스 사용 맥락에서 중요하게 보는 지표입니다.
- rubric: 평가 기준표입니다.
- regression: 업데이트 후 성능이 나빠지는 현상입니다.
- 사람이 봐야만 알 수 있는 품질은 무엇인가
- product metric은 연구 지표와 어떻게 다른가
- regression을 막으려면 무엇을 기록해야 하는가
- 실서비스는 “맞다/틀리다”만으로 설명되지 않고, 도움됨, 안전함, 신뢰감이 함께 중요합니다.
- benchmark가 좋아도 사용자 경험이 나빠질 수 있습니다.
- rubric-based review
- task success와 user trust
- research metric to product KPI translation
- regression tracking
- human evaluation이 필요한 이유를 설명하라.
- product metric과 benchmark metric의 차이를 말하라.
- regression 검증이 왜 중요한지 설명하라.