연구는 코드가 아니라 질문에서 시작한다. 이 문서는 "궁금한 것"을 실험으로 답할 수 있는 "연구 질문"으로 바꾸는 조건과 절차를 다룬다.
연구 질문(research question)은 실험이나 관찰로 답을 정할 수 있게 만들어진 질문이다. 핵심은 "답을 정할 수 있게"라는 부분이다. 개발에 비유하면, 연구 질문은 테스트 코드가 있는 요구사항이고, 막연한 관심사는 테스트가 없는 요구사항이다. 테스트가 없으면 기능이 완성됐는지 아무도 판정할 수 없듯이, 판정 절차가 없는 질문은 실험을 아무리 돌려도 답이 나오지 않는다.
다음 두 질문을 비교하면 차이가 분명해진다.
A. "LLM은 한국어를 잘 이해하는가?"
B. "GPT 계열 모델은 한국어 초성 줄임말(예: 'ㅇㅈ', 'ㄱㅅ')의 뜻을 묻는 4지선다 문제에서 무작위 기대치(25%)보다 유의하게 높은 정답률을 내는가?"
A는 대화 주제이고 B는 연구 질문이다. A에는 "잘"과 "이해"의 기준이 없어서, 어떤 실험 결과를 들고 와도 "그건 진짜 이해가 아니다"라는 반론이 가능하다. B는 대상(GPT 계열 모델), 과제(초성 줄임말 4지선다), 판정 기준(무작위 기대치 대비 정답률)이 모두 박혀 있어서, 실험이 끝나면 답이 예/아니오로 갈린다.
"LLM"이 아니라 어떤 모델인지, "이해"가 아니라 어떤 과제에서의 어떤 행동인지 지정한다. 연구에서는 추상적인 개념을 측정 가능한 절차로 바꾸는 일을 조작적 정의(operational definition)라고 부른다. "이해한다"를 "4지선다에서 정답 보기를 고른다"로 바꾸는 것이 조작적 정의의 예다.
조작적 정의는 항상 원래 개념보다 좁다. 4지선다를 맞힌다고 해서 "이해"의 모든 측면을 보인 것은 아니다. 이 좁힘은 결함이 아니라 비용이다. 좁히지 않으면 측정할 수 없고, 측정할 수 없으면 연구가 아니다. 대신 논문에서는 "이 연구에서 이해란 X를 뜻한다"라고 좁힌 범위를 명시하고, 결론도 그 범위 안에서만 주장한다.
좋은 연구 질문은 실험이 끝났을 때 답이 다음 중 하나의 형태로 떨어진다.
| 형태 | 질문 예시 | 실험 후 얻는 답 |
|---|---|---|
| 예/아니오 | 모델 A는 초성 줄임말 4지선다에서 무작위 기대치보다 잘하는가 | 예 (또는 아니오) |
| 숫자 | 모델 A의 초성 줄임말 4지선다 정답률은 얼마인가 | 정답률 하나 |
| 숫자 비교 | 모델 A는 모델 B보다 초성 줄임말 정답률이 높은가 | 두 숫자의 차이와 판정 |
반대로 "얼마나 잘하는지 알아본다", "가능성을 탐색한다" 같은 문장은 실험이 끝나도 답의 형태가 정해지지 않는다. 어떤 결과가 나와도 "알아봤다"고 말할 수 있기 때문에, 질문으로서는 비어 있다.
좋은 연구 질문은 "아니오"라는 답이 나올 수 있어야 한다. 어떤 결과가 나와도 주장이 살아남는 질문은 과학적 질문이 아니다. 이 조건을 반증 가능성(falsifiability)이라고 부르며, 반증 조건을 어떻게 미리 문장으로 박아두는지는 2강에서 자세히 다룬다. 이 강에서는 한 가지만 기억하면 된다. 질문을 쓰고 나서 "어떤 실험 결과가 나오면 내 예상이 틀린 것인가?"에 답할 수 없다면, 그 질문은 아직 연구 질문이 아니다.
데이터를 구할 수 있는가, 모델 API 비용을 감당할 수 있는가, 정답(gold)을 만들 수 있는가를 따진다. "LLM은 인간 수준의 상식을 갖췄는가"는 흥미롭지만 한 학기 프로젝트로 답할 수 없다. "특정 모델군이 특정 유형의 한국어 줄임말 200문항에서 어느 정도 정답률을 내는가"는 답할 수 있다. 정답 데이터를 만드는 절차는 5강에서 다룬다.
이 조건이 형식주의처럼 보일 수 있으므로, 이유를 셋으로 나눠 적는다.
질문이 "모델 A의 정답률이 25%보다 높은가"로 정해지면, 필요한 것들이 자동으로 정해진다. 4지선다 문항이 필요하고, 정답 판정 규칙이 필요하고, "25%보다 높다"를 판정할 통계 절차가 필요하다. 즉 질문의 형태가 실험 설계의 명세서 역할을 한다. 질문이 모호하면 이 역산이 불가능해서, 실험을 만들다가 그때그때 기준을 정하게 된다. 그때그때 정한 기준은 결과를 본 뒤에 유리한 쪽으로 정해지기 쉽고, 이것이 15강에서 다루는 p-해킹으로 이어지는 입구다.
답의 형태가 미리 정해져 있으면, 실험이 끝난 뒤 "이 결과가 무슨 뜻인가"를 두고 다툴 일이 줄어든다. 정답률 68%가 나왔다면, 그 숫자가 25%보다 유의하게 높은지는 계산 문제이지 해석 문제가 아니다. 반대로 질문이 "이해하는가"였다면 68%를 두고 "이 정도면 이해한 것이다"와 "암기일 뿐이다"가 끝없이 부딪힌다. 숫자가 실력을 부풀리는 방식(7강)과 암기·이해 구별(18강)은 별도 강에서 다루지만, 그 논의조차 질문이 측정 가능한 형태일 때에만 시작할 수 있다.
숫자로 답하는 질문은 다른 사람이 같은 절차로 다시 실험해서 같은 숫자가 나오는지 확인할 수 있다. "이해하는 것 같았다"는 재현할 수 없지만 "정답률 68%"는 재현을 시도할 수 있다. 또한 후속 연구가 "우리 방법은 74%"라고 이어 붙일 수 있다. 연구는 혼자 끝나는 것이 아니라 누적되는 것이고, 누적의 단위는 숫자다. 재현을 실제로 보장하는 장치(시드, 결정론)는 13강에서 다룬다.
2023년 마이크로소프트 연구진이 GPT-4를 다양한 과제에 적용해 보고 "범용 인공지능의 불꽃(Sparks of AGI)"이 보인다고 주장한 보고서를 공개해 큰 논쟁이 일었다. 비판의 핵심은 결과의 참·거짓이 아니라 질문의 형태였다. "지능의 불꽃"에는 조작적 정의가 없어서, 어떤 관찰 결과가 나오면 그 주장이 기각되는지 아무도 말할 수 없었다. 그 결과 후속 논의는 측정과 반박이 아니라 인상 대 인상의 공방이 되었다. 같은 관찰이라도 "GPT-4는 학습 데이터에 없었을 가능성이 높은 신규 문제 유형 X에서 정답률 몇 %를 내는가"처럼 물었다면, 동의하지 않는 연구자가 반박 실험을 설계할 수 있었을 것이다.
20세기 초 독일에서 산수 문제의 답을 발굽으로 두드려 맞히는 말 "영리한 한스(Clever Hans)"가 화제가 됐다. "이 말은 계산할 수 있는가"라는 질문은 공연 관람으로는 결판나지 않았다. 심리학자들은 질문을 "질문자가 정답을 모르는 조건에서도 말이 정답을 두드리는가"로 좁혀서 통제된 실험을 했고, 그 조건에서 정답률이 무너지는 것을 확인했다. 말은 계산이 아니라 질문자의 무의식적인 몸짓 신호를 읽고 있었던 것이다. 질문을 예/아니오로 판정 가능하게 좁힌 순간 수년간의 논쟁이 실험 한 번으로 끝났다. 이 사례는 오늘날 LLM 평가에서도 반복된다. 평가 문항이 학습 데이터에 섞여 있으면 모델은 "계산하는 말"처럼 실력이 아닌 다른 경로로 정답을 내며, 이를 걸러내는 방법은 18강에서 다룬다.
막연한 관심에서 출발해 연구 질문에 도달하는 과정을 단계로 적는다. 예시는 실제 상황(한국어 초성 줄임말을 LLM이 이해하는지 궁금한 개발자)을 쓴다.
"LLM이 'ㅇㅈ', 'ㅈㄱㄴ' 같은 한국어 초성 줄임말을 이해하는지 궁금하다."
이 단계에서는 모호해도 된다. 다만 반드시 글로 적는다. 머릿속 관심사는 좁힐 대상이 되지 못한다.
예/아니오로 물을지, 숫자로 물을지, 비교로 물을지 정한다. 처음 하는 연구라면 기준선(baseline)이 자명한 예/아니오 형태가 다루기 쉽다. 4지선다의 무작위 기대치 25%는 누구도 반박할 수 없는 기준선이다. 기준선과 실험군을 어떻게 짜는지는 4강에서 다룬다.
| 검사 | 통과 기준 |
|---|---|
| 구체성 | 대상 모델·과제·데이터가 문장 안에 지정되어 있다 |
| 답 가능성 | 실험 종료 시 답이 예/아니오 또는 숫자로 떨어진다 |
| 기각 가능성 | "어떤 결과가 나오면 틀린 것인가"에 답할 수 있다 |
| 실행 가능성 | 데이터·비용·기간이 현재 자원 안에 있다 |
하나라도 막히면 2단계로 돌아간다.
완성된 질문은 실험을 시작하기 전에 문서로 박아둔다. 이 연구실에서는 프로젝트마다 01_QUESTION.md를 코드 작성 전에 쓰는 것이 규칙인데, 이유가 있다. 결과를 본 뒤에 질문을 고치면 어떤 결과든 "예상대로"가 되어버리기 때문이다. 이 위험(HARKing)의 정의는 2강에서, 질문·가설을 결과 확인 전에 고정하는 사전 등록 절차는 14강에서 다룬다.
오해 1: "질문을 좁히면 연구가 시시해진다."
반대다. "LLM은 언어를 이해하는가"에 답한 논문은 없지만, 좁은 질문에 답한 논문은 쌓여서 큰 질문의 지형을 바꾼다. 넓은 질문은 연구의 배경(motivation)에 쓰고, 실험은 좁은 질문에 하는 것이 표준 구조다. 논문에서 이 두 층을 어디에 쓰는지는 21강에서 다룬다.
오해 2: "예/아니오 질문이니까 답도 둘 중 하나로 나온다."
아니다. 실험 결과는 "예", "아니오" 외에 "이 데이터로는 판정 불가"로 끝날 수 있고, 판정 불가의 기준도 미리 정해두는 것이 좋다(14강). 또한 "아니오"가 나온 연구는 실패가 아니다. 가설 기각이 왜 그 자체로 기여인지는 16강에서 다룬다.
오해 3: "일단 실험을 돌려보고 결과를 보면서 질문을 정하면 효율적이다."
개발에서는 프로토타입 먼저가 통하지만 연구에서는 순서가 뒤집히면 결과의 의미가 사라진다. 데이터를 먼저 보고 그 데이터에 맞는 질문을 고르면, 그 데이터가 질문을 지지하는 것은 당연해진다. 탐색 자체가 금지는 아니다. 탐색으로 질문을 만들고, 검증은 탐색에 쓰지 않은 새 데이터로 하는 것이 규칙이며, 데이터를 나누는 절차는 6강에서 다룬다.
오해 4: "정답률이 높게 나오면 질문에 '예'라고 답한 것이다."
숫자가 나왔다고 판정이 끝난 것은 아니다. 그 숫자가 우연으로도 나올 수 있는 수준인지(9강), 차이가 실질적으로 큰지(10강), 측정 자체가 부풀려진 것은 아닌지(7강)를 통과해야 "예"라고 말할 수 있다.