연구 질문(1강)과 가설(2강)이 섰다면, 코드를 짜기 전에 먼저 확인할 것이 있다. 같은 질문을 이미 누가 던졌는지, 어디까지 답했는지를 조사하는 절차, 곧 선행 연구 조사(literature review)가 이 문서의 주제다.
선행 연구 조사는 예의상 하는 절차가 아니다. 세 가지 실질적인 이유가 있다.
첫째, 중복을 피한다. 이미 답이 나온 질문을 다시 실험하는 것은 자원 낭비이고, 논문으로 쓰더라도 "이미 알려진 결과"라는 이유로 기여를 인정받지 못한다. 딥러닝 분야의 유명한 사례로 GAN(생성적 적대 신경망)의 우선권 논쟁이 있다. GAN이 발표되어 큰 주목을 받은 뒤, 다른 연구자가 수십 년 전 자신이 제안했던 방법이 핵심 아이디어에서 유사하다고 공개적으로 이의를 제기했고, 이 논쟁은 학회 현장과 논문 지면에서 수년간 이어졌다. 아이디어의 독창성을 주장하려면 무엇이 이미 존재하는지 먼저 알아야 한다는 것을 보여주는 사례다.
둘째, 내 연구의 좌표를 잡는다. 선행 연구는 경쟁 상대이기 전에 지도다. 어떤 데이터셋과 평가 방식이 표준인지, 어떤 baseline과 비교해야 설득력이 있는지, 어떤 함정이 이미 보고됐는지를 알려준다. 예를 들어 "한국어 초성 줄임말(ㅇㅈ, ㄱㅅ 등)을 LLM이 이해하는가"를 4지선다로 평가하려는 연구자라면, 한국어 LLM 벤치마크 선행 연구를 통해 보기 위치 편향(19강)이나 학습 데이터 오염(18강) 같은 알려진 함정을 실험 설계 단계에서 미리 반영할 수 있다.
셋째, 인용으로 주장의 근거를 위임한다. 논문에서 모든 주장을 스스로 증명할 수는 없다. "4지선다 평가는 자유 생성 평가보다 채점이 객관적이다" 같은 배경 주장은 선행 연구를 인용해 근거를 위임한다. 인용이 없는 배경 주장은 리뷰어에게 "출처는?"이라는 지적을 받는다.
주의: 선행 연구가 "이미 있다"는 것과 "내 질문이 끝났다"는 것은 다르다. 영어 줄임말 이해를 평가한 연구가 있어도, 한국어 초성 줄임말은 문자 체계가 달라 별도의 질문이 될 수 있다. 선행 연구와 내 연구의 차이(gap)를 한 문장으로 말할 수 있으면 연구는 성립한다.
| 도구 | 특징 | 주 용도 |
|---|---|---|
| Google Scholar | 가장 넓은 색인, 인용 수·피인용 추적 | 첫 키워드 탐색 |
| Semantic Scholar | 인용 그래프, 논문 간 관계 탐색 | 눈덩이 확장 |
| arXiv | 심사 전 원고(preprint) 공개 저장소 | 최신 LLM 연구 |
| ACL Anthology | 자연어처리 학회 논문 전문 무료 공개 | NLP 분야 정밀 탐색 |
| DBpia, RISS | 국내 학술지 색인 | 한국어 대상 연구 |
LLM 연구는 특히 arXiv 비중이 크다. 학회 심사 주기(수개월)보다 분야가 빠르게 움직여서, 주요 결과가 심사 통과 전에 arXiv로 먼저 공개되는 관행이 자리잡았다. 단, arXiv 원고는 동료 심사(peer review)를 거치지 않았으므로 결과를 인용할 때는 그만큼 조심해서 읽어야 한다.
Korean abbreviation LLM evaluation, slang understanding language model, multiple-choice benchmark Korean. 처음에는 넓게 던지고, 결과를 보며 분야 표준 용어를 배워 검색어를 고쳐 나간다. "초성 줄임말"을 분야에서는 무엇이라 부르는지(예: consonant-only abbreviation) 아는 것 자체가 조사의 성과다.검색을 정밀하게 만드는 요령 몇 가지가 있다.
"multiple-choice question answering"은 세 단어가 흩어진 결과를 걸러낸다.논문을 전부 정독하는 것은 불가능하고 불필요하다. 단계마다 "계속 읽을 가치가 있는가"를 판정하며 걸러낸다.
초록(abstract), 서론 끝의 기여 요약(contributions), 그림과 표만 본다. 판정할 것은 하나다: 이 논문이 내 연구 질문과 겹치는가. 겹치지 않으면 버리되, 제목과 한 줄 사유는 기록해 둔다(같은 논문을 나중에 다시 열어보는 낭비를 막는다).
1단계를 통과한 논문만 실험 설계 절(method, experimental setup)을 읽는다. 확인할 것은 다음과 같다.
내 연구가 직접 딛고 설 논문, 즉 방법을 빌리거나 결과를 반박할 3~5편만 처음부터 끝까지 읽는다. 이때는 부록(appendix)과 한계(limitations) 절까지 읽는다. 저자가 스스로 밝힌 한계가 곧 내 연구의 gap이 되는 경우가 많다.
2단계 이상을 통과한 논문마다 짧은 노트를 남긴다. 형식은 자유이나 다음 네 항목이 있으면 나중에 문헌 매트릭스와 서론 작성으로 바로 이어진다.
한 줄 요약: 이 논문이 답한 질문과 답.
방법: 데이터, 규모, 비교 대상, 평가 지표.
내 연구와의 관계: 빌릴 것 / 다른 점 / 반박할 것 중 무엇인가.
의심: 결론이 흔들릴 수 있는 지점 (표본이 작다, 단일 시드다, 오염 검증이 없다 등).
마지막 "의심" 항목이 중요하다. 선행 연구를 비판적으로 읽는 훈련이자, 내 실험이 같은 약점을 반복하지 않게 하는 점검표가 된다. 단일 시드 보고의 위험은 13강, 오염 검증은 18강에서 다룬다.
읽은 것을 머리에만 두면 한 달 뒤에 사라진다. 두 가지를 남긴다.
핵심 논문을 같은 열로 비교하는 표다. 열 구성은 연구마다 다르지만 최소한 다음은 들어간다.
| 논문 | 질문 | 데이터/규모 | 평가 방식 | 핵심 결과 | 내 연구와의 차이 |
|---|---|---|---|---|---|
| A | 영어 속어 이해 | 5천 문항 | 4지선다 | 대형 모델일수록 정답률 상승 | 한국어 아님 |
| B | 한국어 벤치마크 | 1만 문항 | 4지선다 | 보기 위치 편향 보고 | 줄임말 미포함 |
이 표의 마지막 열("내 연구와의 차이")이 채워지지 않는 논문이 있다면, 내 연구가 그 논문의 반복이라는 뜻이므로 질문을 다시 설계해야 한다(1강).
인용할 문헌은 발견 즉시 서지 파일(예: BibTeX의 refs.bib)에 넣는다. 이 연구실은 프로젝트마다 paper/refs.bib 하나를 단일 서지 원천으로 쓰고, 모든 항목에 "왜 이 문헌을 인용하는가"를 적는 note 필드를 필수로 요구한다. note가 강제되는 이유는 단순하다. 몇 달 뒤 논문을 쓸 때 "이 논문을 왜 넣었더라"를 다시 조사하는 비용이, 넣을 때 한 줄 적는 비용보다 훨씬 크기 때문이다.
서지 관리 도구(Zotero 등)를 쓰면 브라우저에서 클릭 한 번으로 서지 정보와 PDF를 수집할 수 있다. 다만 자동 수집된 서지 정보에는 오류(저자명 깨짐, 학회명 누락, arXiv판과 학회판 혼동)가 흔하므로, 최종 서지 파일에 넣기 전에 원 출처와 대조한다. 같은 논문이라도 arXiv 원고와 학회 게재본은 내용이 다를 수 있어, 실제로 읽은 판본을 인용하는 것이 원칙이다.
인용의 제1원칙은 읽지 않은 것을 인용하지 않는다이다. 여기에는 두 가지 흔한 위반이 있다.
인용은 장식이 아니라 문장 단위의 근거 표시다. 배경 주장에는 근거 문헌을, 방법을 빌렸으면 원 제안 논문을, 수치를 언급하면 그 수치가 나온 논문을 단다. 반대로 상식 수준의 진술(예: "LLM은 대량의 텍스트로 학습된다")에까지 인용을 다는 것은 과잉이다. 인용 형식(APA, ACL 스타일 등)과 논문 내 배치는 21강에서 다룬다.
초성 줄임말 평가 연구를 예로 든 전체 흐름은 다음과 같다.
refs.bib에 추가하고 note에 인용 사유 한 줄 기록