RAG 벤치마크 점수, 누가 채점했나 — 벤더 성적표를 읽는 눈

LLM 심판(judge)은 사람 대신 또 다른 언어모델이 답변의 우열을 매기는 채점 방식이다. RAG 벤치마크에 박힌 자랑 수치는 대부분 이 채점자가 만든 쪽 자신이거나 편향에 흔들리는 AI가 매긴 값이라, 이해관계 없는 벤치로 다시 재면 그 우위가 무너지거나 뒤집힌다.

‘정확도 90%’, 그 숫자는 누가 매겼나

시상대 위 인물이 자기 자신에게 트로피를 건네고, 옆에서 중립 심판이 같은 제품을 다시 채점하자 점수가 내려가고 순위 막대가 자리를 바꾸는 라이트 인포그래픽

새 AI 챗봇이나 검색 도구의 소개 페이지에는 큼직한 숫자가 하나씩 박혀 있다 — ‘정확도 90%’, ‘경쟁 제품 대비 승률 몇 퍼센트’ 같은 자랑이다. 그런데 그 점수를 누가 매겼는지 되물어 보면, 채점자는 십중팔구 그 제품을 만든 쪽이거나 편향에 쉽게 흔들리는 또 다른 AI다.

이 글이 처음부터 끝까지 캐묻는 건 점수가 몇 점이냐가 아니다. 그 점수를 누가 매겼느냐다. 채점자 한 명만 바꿔 봐도 반짝이던 숫자의 절반은 빛이 바래고, 이해관계 없는 자로 다시 재면 1등이 꼴찌 근처로 밀려나는 일까지 생긴다. 뒤에서 실제로 그런 순위표를 하나 펼쳐 볼 참이다.

자가채점이라는 이름의 시험

먼저 ‘자가채점’이 무슨 뜻인지 맞춰 두자. 검색 증강 생성(RAG) 시스템의 답변 품질을 잴 때, 사람이 답을 일일이 읽고 매기는 일은 느리고 비싸다. 그래서 요즘은 또 다른 언어모델에게 "이 답과 저 답 중 어느 쪽이 낫냐"를 묻는다. 이 채점자 AI를 LLM 심판(judge)이라 부른다.

자가채점에는 여기서 두 얼굴이 생긴다. 하나는 제품을 만든 쪽이 자기 벤치에서 자기 방법을 매기는 얼굴이다. 다른 하나는 심판이 사람이 아니라, 순서나 길이 같은 사소한 것에 흔들리는 또 다른 AI라는 얼굴이다. 둘 다 이해관계에서 자유롭지 않다. 시상대에 오른 선수가 심사위원석에도 앉아 자기 목에 메달을 걸어 주는 그림인 셈이다.

시상대 위 우승자가 동시에 심사위원석에 앉아 자기 자신에게 트로피를 건네는 순환 장면 — **그림 1.** 자가채점의 순환 — 우승자가 곧 심사위원이다

그림 1처럼 채점자와 선수가 겹쳐 있으면, 점수는 실력이 아니라 자리에서 나온다. 그렇다면 질문은 하나로 좁혀진다. 이 자를 이해관계 없는 자로 바꾸면 순위는 그대로일까.

중립 벤치로 다시 재면

그 질문에 정면으로 답한 벤치가 있다. GraphRAG-Bench는 16개 학문 분야의 대학 교재와 대학 수준 문항으로 검색 방법 11종에 무검색 기준선을 더한 12개 방법을 같은 데이터, 같은 질의로 겨루게 했다. 자가평가에서 66.7% 승률을 자랑하던 LightRAG를 이 중립 잣대 위에 다시 올려 보자.

GraphRAG-Bench 12개 방법의 평균 정확도 수평 막대 순위, LightRAG가 BM-25·TF-IDF보다 아래에 위치 — **그림 2.** GraphRAG-Bench 12개 방법의 평균 정확도 — 자가평가 승률 66.7%의 LightRAG(강조)는 고전 기법 BM-25·TF-IDF보다 낮고, 그래프 방법 두 종은 무검색보다도 아래다.

그림 2의 순위표는 자가채점 성적표와 딴판이다. 1위는 그래프 방법이 아니라 트리 요약 방식인 RAPTOR(73.58)다. 정작 LightRAG는 71.22로, 수십 년 된 고전 키워드 검색 BM-25(71.66)와 TF-IDF(71.71)보다도 아래에 앉는다. 더 눈에 띄는 건 맨 밑이다. 그래프 방법 두 종(G-Retriever·DALK)은 아예 검색을 하지 않고 모델에게 곧장 답하게 한 ‘무검색’ 기준선(70.68)보다도 점수가 낮다. 검색을 붙였는데 오히려 손해를 본 셈이다.

이 벤치를 왜 제3자 기준으로 믿을 수 있나. 저자 소속이 홍콩폴리텍공대와 Tencent Youtu Lab이라, GraphRAG를 처음 내놓은 Microsoft와 이해관계가 얽혀 있지 않기 때문이다. 자기 방법을 자기가 채점한 표가 아니라는 뜻이다.

심판을 흔드는 네 개의 손잡이

중립 재채점이 이렇게 다른 결과를 내는 데는 이유가 있다. LLM 심판은 사람과 달리 몇 개의 손잡이로 쉽게 흔들린다. 실측으로 확인된 손잡이만 넷이다.

LLM 심판의 편향 손잡이 네 종의 강도를 색으로 인코딩한 매트릭스 — **그림 3.** 심판을 흔드는 네 손잡이 — 위치·길이 편향은 실측 스윙 폭으로, 시행·앵커 편향은 정성 강도로 인코딩했다.

그림 3에 넷을 나란히 놓았다. 첫째는 위치편향이다. 두 답의 순서를 A-B에서 B-A로 뒤집기만 해도 승률이 30%포인트 넘게 출렁인다. 둘째는 길이편향이다. 평균 200토큰짜리 답에서 25토큰(12.5%)만 더 길어져도 승률 격차가 50%포인트를 넘긴다.

셋째는 시행편향이다. 같은 평가를 여러 번 돌리면 생성의 무작위성 탓에 결론이 뒤집히기도 한다. 넷째는 앵커 선택이다. 무엇을 비교 기준으로 삼느냐가 심판 모델을 바꾸는 것만큼 결과를 흔드는데, 흥미롭게도 최고도 최악도 아닌 ‘중간 성능’ 앵커가 순위를 가장 잘 가른다

. 결국 같은 답을 놓고도 순서·길이·비교 대상만 손대면 승자가 바뀐다.

자랑 수치와 보정치를 나란히 놓으면

이 흔들림은 한 층에만 있는 게 아니다. 검색 승률부터 에이전트 메모리까지, 층을 바꿔도 자가채점 값과 보정 값은 나란히 벌어진다.

자가채점 값과 중립 보정 값을 기울기 선으로 이어 비교한 그래프 — **그림 4.** 자가채점 → 중립·재계산 — LightRAG 승률은 아예 역전되고(66.70→39.06), 에이전트 메모리 점수는 크게 내려앉는다(84→58.44).

그림 4가 그 낙차를 보여준다. LightRAG가 NaiveRAG를 상대로 자랑하던 66.70% 승률은 편향을 걷어낸 평가에서 39.06%로 주저앉는다. 절반 이상을 이기던 쪽이 이제는 지는 쪽이 됐다는 뜻이다. 대화 기억을 다루는 Zep의 LoCoMo 84%도 재계산하면 58.44%까지 내려온다. 그래프 구축 정밀도 99%를 내세우는 방법조차, 그 99%를 매긴 채점자가 또 다른 LLM 자신이다.

편향 제거 재평가 논문의 결론은 이렇게 적혀 있다 — "performance gains are much more moderate than reported previously." 실제 성능 향상은 앞서 보고된 것보다 훨씬 완만하다는 뜻이다.

출처: “How Significant Are the Real Performance Gains?” (arXiv:2506.06331)

부풀림은 프레이밍에서도 온다. 벤더는 절대 수치 대신 상대 개선율(%)을 앞세우길 좋아한다.

표에 상대 개선율(%)만 있고 절대 수치가 없으면 일단 의심하라. 한 리랭커 논문은 NVIDIA 자사 모델이 baseline 대비 NDCG@10을 +23.4% 끌어올렸다고 적었다. 같은 표에 있는 제3자 BGE 리랭커의 개선율은 그 3분의 1 남짓이다. 세 배 가까이 차이 나 보이지만, 이 둘은 상대값이다.

같은 baseline 0.6100에서 두 리랭커가 도달한 절대 점수를 놓고, 상대 개선율과 절대 개선폭을 직접 계산해 보자.

# 같은 baseline에서 두 리랭커의 상대 개선율과 절대 개선폭을 나란히 계산한다.
baseline = 0.6100          # NDCG@10, 리랭커 없음
nv  = 0.7529               # NVIDIA NV-RerankQA-Mistral-4B-v3
bge = 0.6585               # 제3자 BGE reranker

for name, score in [("NV ", nv), ("BGE", bge)]:
    rel = (score - baseline) / baseline * 100   # 벤더가 즐겨 쓰는 상대 개선율(%)
    absolute = (score - baseline) * 100          # 실제로 오른 절대 포인트
    print(f"{name}: 상대 +{rel:4.1f}%   절대 +{absolute:4.1f}pt")

NV : 상대 +23.4%   절대 +14.3pt
BGE: 상대 + 8.0%   절대 + 4.8pt

상대로는 세 배 가까이 차이 나 보이지만, 실제로 오른 폭은 0.14와 0.05다. NDCG는 0에서 1 사이 값이니 둘 다 소수점 아래 한두 자리의 개선일 뿐이다. NVIDIA 리랭커가 실제로 가장 좋은 성능인 건 맞다. 문제는 성능이 아니라, +0.14를 ‘+23.4%’로 적어 실제보다 커 보이게 만드는 상대 프레이밍이다.

비용 쪽에서 유명한 ‘$33,000이 $33이 됐다’는 코스트 클리프 이야기도 마찬가지다. 모델·단가·설정이 공개되지 않은 일화라 데이터로 쓸 수 없고, 설정을 공개한 독립 실측은 인덱싱 비용을 $5~$120 사이로 보고한다. 출처를 확인하지 않은 카더라 수치는 그대로 옮기지 말자. 비용 축의 본격 해부는 형제 편에서 따로 다룬다.

채점 그 자체도 채점이 필요하다

여기서 한 걸음 더 들어가면 불편한 사실이 나온다. 채점자를 의심하는 걸로 끝이 아니라는 것이다. 채점 도구와 벤치마크 자체도 부풀림에서 자유롭지 않다.

먼저 자동지표가 사람을 얼마나 닮았는지 보자. 사람 평가자 둘이 같은 답을 매겨도 상관계수(Pearson)는 0.85 언저리가 천장이다. 사람끼리도 완벽히 일치하지는 못한다는 뜻이다. 그런데 자동지표는 그 천장에도 못 미친다. 가장 나은 지표조차 상관이 대략 0.7 수준이고, faithfulness류 생성지표는 약상관, 어떤 지표는 무상관에 가깝다. 상관이 높다 해도 "재려던 것을 실제로 잰다"는 보증은 아니다 — 질문 난이도 같은 교란 요인이 섞여 있을 수 있다.

벤치마크 자체도 성능을 부풀린다. 기존 RAG 벤치는 질의 난이도를 무시해 쉬운 문항 위주로 점수를 올려 주는 경향이 있다

. 심지어 "검색엔진보다 낫다"며 선호도 70%를 받은 위키 생성 시스템도, 정작 인용이 문장을 실제로 뒷받침하는지 따지면 최고 모델조차 절반가량이 미달이다. 선호도와 근거성은 다른 축이다.

말이 도는 사이에 없던 숫자가 태어나기도 한다

. 그래서 채점은 채점을 필요로 한다.

벤더 성적표를 읽는 세 가지 질문

그럼 실무에서 업계 벤치 수치를 만났을 때, 무엇을 물어야 할까. 숫자 하나를 붙들고 스스로 돌려 보는 판별 루틴은 다음 세 가지면 충분하다.

순서를 뒤집어도 그대로였나 — 두 답의 제시 순서를 A-B에서 B-A로 바꿔도 승자가 같았나, 아니면 한 방향으로만 잰 값인가.
긴 답이 이긴 건 아닌가 — 승부를 가른 게 내용이 아니라 답의 길이는 아닌지, 길이를 맞춰 통제한 채로 잰 값인가.
무엇을 기준으로, 몇 번 쟀나 — 비교 앵커(특히 순위를 가르는 ‘중간 성능’ 앵커)를 무엇으로 골랐고, 여러 번 돌려도 결론이 유지됐나.

이 셋을 차례로 물으면, 대부분의 과장은 스스로 정체를 드러낸다. 반짝이는 숫자를 만났을 때 정말 알아야 할 건 그 값이 얼마냐가 아니라, 그 값을 누가 어떤 자로 쟀느냐다.

더 읽기

"GraphRAG-Bench: Challenging Domain-Specific Reasoning for Evaluating Graph Retrieval-Augmented Generation." (2025). arXiv:2506.02404.
"How Significant Are the Real Performance Gains? An Unbiased Evaluation Framework for GraphRAG." (2025). arXiv:2506.06331.
Brabant, Q. (2026). "Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations." arXiv:2607.07302.
"Mediocrity is the key for LLM as a Judge Anchor Selection." (2026). arXiv:2603.16848.