실험이 끝났다고 연구가 끝난 것이 아니다. 결과를 남이 검증할 수 있는 형태로 써서 심사를 통과시켜야 비로소 연구 커뮤니티의 지식이 된다. 이 강에서는 논문의 표준 구조인 IMRaD, 그림·표를 만드는 원칙, 그리고 투고에서 게재까지의 절차를 다룬다.
IMRaD는 서론(Introduction), 방법(Methods), 결과(Results), 논의(and Discussion)의 머리글자다. 20세기 중반 이후 실증 연구 논문의 사실상 표준이 되었고, ML/LLM 분야 학회 논문도 관련 연구(Related Work) 절이 추가되는 정도의 변형일 뿐 골격은 같다. 이 구조가 표준이 된 이유는 단순하다. 읽는 사람마다 필요한 부분이 다르기 때문이다. 결론만 궁금한 독자는 서론과 논의만 읽고, 재현하려는 독자는 방법으로 직행하고, 숫자를 검증하려는 독자는 결과만 본다. 구조가 예측 가능해야 논문이 검색·검증 가능한 문서가 된다.
각 부분이 답해야 하는 질문은 다음과 같다.
| 부분 | 답하는 질문 | 핵심 내용 |
|---|---|---|
| 서론 | 왜 이 연구를 했는가 | 연구 질문, 기존 연구의 공백, 기여(contribution) 요약 |
| 방법 | 어떻게 했는가 | 데이터, 모델, 평가 절차, 통계 방법 등 재현에 필요한 전부 |
| 결과 | 무엇이 나왔는가 | 사전 등록한 비교의 수치, 그림·표를 해석 없이 |
| 논의 | 그래서 무슨 뜻인가 | 해석, 한계(limitations), 후속 연구 |
서론은 넓은 문제에서 시작해 구체적 연구 질문으로 좁혀 들어가는 깔때기 구조로 쓴다. LLM 초성 줄임말 이해 연구라면 "LLM의 한국어 능력 평가는 표준 벤치마크 중심이다 → 비격식 신조어·초성 줄임말은 측정 사각지대다 → 우리는 4지선다 평가셋으로 이 능력을 측정한다"처럼 세 단계 안에 연구 질문(1강)이 나와야 한다. ML 학회 논문은 서론 끝에 기여를 불릿 목록으로 명시하는 관례가 있다. 기여는 "우리는 ~를 처음으로 측정했다", "~ 조건에서 정확도가 유의하게 떨어짐을 보였다"처럼 검증 가능한 주장으로 쓴다.
방법 절의 판정 기준은 하나다. 이 절만 읽고 제3자가 실험을 재현할 수 있는가. 데이터 출처와 크기, 주석 절차와 주석자 일치도(5강), 분할 방식(6강), 모델 버전과 디코딩 설정(19강), 시드 개수(13강), 통계 검정 방법(9~11강)을 빠짐없이 적는다. LLM 연구에서는 특히 모델의 정확한 버전 문자열과 평가 시점을 적어야 한다. API 모델은 같은 이름으로도 내부가 바뀌므로, 버전 없는 방법 절은 재현 불가능한 방법 절이다.
결과 절에는 사전 등록(14강)한 비교의 수치를 해석 없이 보고한다. "A가 B보다 12.3%p 높았다(, )"까지가 결과이고, "이는 A가 초성 패턴을 더 잘 일반화함을 시사한다"는 논의다. 이 경계를 지키면 독자가 데이터와 저자의 해석을 분리해서 평가할 수 있다. 효과 크기와 신뢰구간을 함께 보고하는 이유는 10강에서 다뤘다.
논의에서 가장 중요한 부분은 한계 절이다. "4지선다라서 생성 능력은 측정하지 못했다(17강)", "평가셋이 특정 커뮤니티 말뭉치에 치우쳤을 수 있다" 같은 약점을 저자가 먼저 명시한다. 리뷰어가 지적할 약점을 저자가 선점하면 신뢰를 얻고, 숨기면 발각될 때 논문 전체의 신뢰가 무너진다. 음성 결과가 나왔다면 16강에서 다룬 대로 그것대로 보고할 가치가 있다.
좋은 그림의 기준은 장식이 아니라 전달이다. 그림 하나는 주장 하나만 담는다. "모델 크기가 커져도 초성 줄임말 정확도는 오르지 않는다"가 주장이면, 모델 크기 축과 정확도 축만 있는 선 그래프 하나면 충분하다. 여러 주장을 한 그림에 욱여넣으면 아무 주장도 전달되지 않는다.
실무 원칙 몇 가지를 정리한다.
표는 독자가 하려는 비교가 같은 행 또는 같은 열에 놓이도록 설계한다. 모델 간 비교가 핵심이면 모델을 행으로, 조건(예: 컷오프 이전/이후 층화, 18강)을 열로 둔다. 최고 성능을 굵게 표시하는 관례를 따르되, 그 차이가 유의하지 않다면 굵게 표시하지 않거나 각주로 밝힌다. 소수점 자릿수는 측정 정밀도에 맞춘다. 표본 400개 평가에서 소수점 둘째 자리는 정밀도를 가장한 소음이다.
그림·표의 수치를 실험 로그에서 눈으로 읽어 논문에 손으로 옮기는 순간, 오타·구버전 숫자·선택적 복사라는 세 가지 오류 경로가 열린다. 20강에서 다룬 대로, 데이터에서 논문 그림까지를 한 그래프로 잇고 그림·표 파일을 파이프라인의 출력으로 만들면 이 경로가 구조적으로 차단된다. 데이터가 바뀌면 그림이 자동으로 무효화되고, 논문에 실린 숫자는 항상 코드가 만든 숫자가 된다.
이것이 사치가 아니라는 것을 보여준 실제 사례가 있다. 경제학에서 국가 부채와 성장률의 관계를 다룬 한 유명 논문은 각국 정책 논쟁에까지 인용될 만큼 영향력이 컸는데, 수년 뒤 한 대학원생이 재현을 시도하는 과정에서 원저자의 스프레드시트를 받아 검토하다가 일부 국가 행이 수식 범위에서 빠져 있는 등 수작업 데이터 처리의 오류를 발견했다. 오류를 반영하면 논문의 핵심 수치가 달라졌고, 이 사건은 손으로 만진 숫자가 논문과 정책까지 흘러갈 수 있음을 보여주는 대표 사례로 남았다. 스프레드시트 수작업 대신 재현 가능한 파이프라인이 표준이 되어야 한다는 주장에 힘을 실은 계기이기도 하다.
ML/LLM 분야는 저널보다 학회(conference) 논문이 주류라는 점이 다른 분야와 다르다. 학회는 마감일이 고정되어 있고 심사 주기가 수개월로 짧으며, 저널은 상시 투고에 심사가 길고 수정 라운드가 여러 번이다. 어느 쪽이든 절차의 골격은 같다.
리뷰 답변에서 지켜야 할 원칙은 세 가지다.
주의: 리뷰 답변 기간에 리뷰어가 좋아할 만한 결과를 찾아 새 비교를 이것저것 돌리는 것은 15강에서 다룬 사후 선택과 같은 문제를 일으킨다. 추가 실험도 가설과 판정 기준을 먼저 적고 돌린다.
정식 심사와 별도로, 많은 ML 연구는 프리프린트(preprint) 서버에 심사 전 원고를 공개한다. 우선권을 확보하고 피드백을 일찍 받는 장점이 있지만, 심사를 통과하지 않은 문서라는 점은 3강에서 다룬 대로 인용할 때 구별해야 한다. 학회에 따라 익명 심사 기간 중 프리프린트 홍보를 제한하는 규정이 있으므로 투고 전에 해당 학회 정책을 확인한다.
IMRaD 순서대로 서론부터 쓰는 것은 대체로 비효율적이다. 실전에서 통용되는 순서는 다음과 같다.
제목도 같은 원리로 짓는다. 좋은 제목은 주제가 아니라 발견을 담는다.
나쁜 제목: "한국어 초성 줄임말에 대한 LLM 평가 연구"
좋은 제목: "LLM은 한국어 초성 줄임말을 암기할 뿐 일반화하지 못한다: 컷오프 층화 4지선다 평가"
전자는 무엇을 다뤘는지만 말하고, 후자는 무엇을 알아냈는지까지 말한다. 단, 결과가 지지하는 범위를 넘는 제목은 과장이다. 제목의 주장은 결과 절의 수치로 방어할 수 있어야 한다.
논문의 품질을 결정하는 것은 문장력이 아니라 구조와 정직성이다. 각 절이 제 질문에 답하고, 주장마다 근거 수치가 연결되고, 한계가 명시되어 있으면 문장이 투박해도 좋은 논문이다. 반대로 유려한 문장으로 쓰였지만 방법 절만으로 재현이 불가능한 논문은 나쁜 논문이다. 리뷰어가 평가하는 것은 문체가 아니라 주장-근거의 연결이다.
신중하게 설계된 음성 결과나 작은 효과의 정밀한 측정도 채택된다(16강). 오히려 결과를 화려하게 보이려는 압력이 세로축 자르기, 유리한 비교만 싣기, 한계 절 축소로 이어지고, 이런 논문은 리뷰에서 더 쉽게 무너진다. 기여의 크기보다 기여의 주장이 근거와 정확히 일치하는지가 먼저다.
리뷰는 출판 전에 받을 수 있는 마지막 무료 검증이다. 리뷰어가 놓친 혼란 변수를 지적했다면, 그것은 출판 후 다른 연구자가 재현 실패로 밝혀내는 것보다 훨씬 저렴한 발견이다. 감정적으로 방어하는 답변은 지적의 타당성과 무관하게 심사에 불리하게 작용한다. 지적이 틀렸다면 데이터로, 맞다면 수정으로 답한다.
본문에 "XX%"처럼 자리만 잡아 두고 나중에 채우는 방식은 채우는 과정 자체가 손 복사(hand-copy)가 된다. 그림·표가 파이프라인 출력으로 먼저 존재하고, 본문이 그것을 참조하는 순서를 지킨다. 본문 문장에 들어가는 개별 수치도 가능하면 파이프라인이 생성한 표에서 그대로 읽을 수 있는 값만 쓴다.
투고 버튼을 누르기 전에 아래를 순서대로 확인한다.
| 점검 항목 | 근거 강 |
|---|---|
| 서론의 연구 질문과 결과 절의 비교가 1:1로 대응하는가 | 1강, 14강 |
| 방법 절만으로 제3자가 재현 가능한가 (모델 버전·시드·분할 방식 포함) | 6강, 13강, 19강 |
| 모든 수치가 파이프라인 출력에서 왔는가 (손 복사 0건) | 20강 |
| 모든 그림에 오차 막대와 시드 개수 명시가 있는가 | 13강 |
| 유의성 주장에 효과 크기·신뢰구간이 붙어 있는가 | 10강 |
| 한계 절이 측정 방식의 약점을 스스로 밝히는가 | 7강, 17강 |
| 인용한 문헌을 실제로 읽었고, 서지 정보가 정확한가 | 3강 |
| 익명화·분량·템플릿 등 학회 규정을 지켰는가 | 없음 |
이 목록의 대부분이 글쓰기가 아니라 앞선 강의들의 실천 사항이라는 점이 이 강의 결론이기도 하다. 논문 작성은 연구 마지막에 시작하는 별도 작업이 아니라, 잘 설계된 연구가 자연스럽게 문서로 응결되는 과정이다. 설계가 부실한 연구는 어떤 문장력으로도 좋은 논문이 되지 않는다.