AI 해부

챗봇에 조건을 나눠 말하면 답이 나빠지는 이유

읽는 데 11분

챗봇에 조건을 한 번에 다 적지 않고 「아, 그리고 …」 하며 하나씩 덧붙여 가는 대화가 있다. 한 번에 다 말하면 잘 푸는 문제인데도, 같은 조건을 여러 번에 나눠 말하자 AI 모델 15개의 성적이 평균 39% 떨어졌다(사람이 아니라 프로그램이 조건을 건넨 시험이다). 같은 조건을 한 메시지에 모아 주면 성적은 거의 그대로였다. 논문 저자들은 AI 가 조건이 다 오기 전에 서둘러 낸 답에 매달리는 것을 원인으로 꼽았다. 이렇게 대화 도중 틀어진 답에서 못 빠져나오는 현상을 대화 속에서 길을 잃는다(Lost in Conversation)고 부른다.

「아, 그리고 …」를 덧붙이는 대화와 처음부터 다 적은 대화를 견줬다

크림색 카드 위쪽에 두 줄 제목 「챗봇에 조건을 나눠 말하면 / 답이 나빠지는 이유」가 있고 「나눠 말하면」이 파란색이다. 그 아래 회색 부제 「같은 조건을 한 번에 말할 때와 나눠 말할 때」가 있다. 그 아래에 가로로 넓은 흰 채팅 화면 하나가 있고, 왼쪽 위에 회색 「예시」 알약이 붙어 있다. 위에서 아래로 사용자 말풍선 「여행 일정 좀 짜 줘」, AI 말풍선 「좋아요! 첫날은 야경 투어부터 …」와 × 표지 「조건이 다 오기 전에 낸 답」, 사용자 말풍선 「아, 그리고 아이도 같이 가요」와 「예산은 빠듯해요」, AI 말풍선 「첫날은 그대로 야경 투어로 두고 …」와 × 표지 「앞 답에 매달린 마지막 답」이 차례로 놓여 있다. 사용자 말풍선은 오른쪽에 파란 테와 사람 아이콘으로, AI 말풍선은 왼쪽에 회색과 로봇 아이콘으로 그려져 있다

그림 속 대화에서 사용자는 챗봇에 「여행 일정 좀 짜 줘」라고만 보낸다. 챗봇은 첫날을 야경 투어로 여는 일정을 내놓는다. 사용자는 그제야 「아, 그리고 아이도 같이 가요.」, 「예산은 빠듯해요.」 하고 조건을 하나씩 덧붙인다. 그런데 마지막 답은 첫날을 그대로 야경 투어로 두고, 아이도 예산도 제대로 챙기지 않는다. 조건이 모자라서일까, 아니면 나눠 말해서일까? 이 대화는 설명을 위해 지은 예지만, 같은 물음을 실험으로 따져 본 논문이 있다.

마이크로소프트·세일즈포스 연구진(Laban 외)이 쓴 「LLMs Get Lost In Multi-Turn Conversation」이다. 이 논문은 기계학습 학회 ICLR 2026 에서 우수 논문(Outstanding Paper) 두 편 가운데 하나로 뽑혔다. 심사 위원회는 실험에 쓴 모델이 이미 오래됐다는 우려도 논의했다. 하지만 결론과 방법은 최신 모델에도 여전히 들어맞는다고 봤다.

연구진은 챗봇의 두뇌 격인 AI 모델, 곧 대규모 언어 모델(LLM)에게 같은 문제를 두 가지 방식으로 물었다. 한 번은 문제 전체를 첫 메시지에 다 적어 보냈다. 다른 한 번은 같은 문제를 조각으로 쪼개, 말을 주고받는 한 차례(턴)마다 한 조각씩 건넸다.

조각이 어떻게 생겼는지는 논문 그림이 예로 든 수학 문장제로 보면 쉽다(그림 1). 원래 문제는 이렇다. 「제이는 여동생과 눈싸움을 하려고 눈덩이를 만든다. 한 시간에 20개를 만들 수 있지만, 15분마다 2개가 녹는다. 눈덩이가 60개가 되기까지 얼마나 걸릴까?」 한 시간에 20개를 만들고 8개가 녹으니 실제로는 한 시간에 12개씩 늘어서, 정답은 5시간이다.

연구진이 공개한 실험 데이터에서, 나눠 말하는 쪽은 이 문제를 조각 네 개로 보낸다. 첫 조각은 「제이가 눈덩이 60개를 만들려면 얼마나 걸릴까?」라는 물음이다. 나머지 세 조각은 눈싸움을 준비한다는 배경, 한 시간에 20개를 만든다는 조건, 15분마다 2개가 녹는다는 조건을 하나씩 담는다. 네 조각을 다 합치면 원래 문제와 같은 정보가 된다. 이렇게 조건을 한 번에 다 말하지 않고 여러 번 주고받으며 건네는 대화를 멀티턴(multi-turn) 대화라고 한다.

크림색 카드 맨 위에 제목 「같은 문제, 두 가지로 묻기」와 부제 「원 논문이 예로 든 수학 문장제 — 영어 원문과 한국어 풀이」가 있다. 위쪽 「한 번에 말하기」(첫 메시지에 문제 전체) 카드에는 영어 원문 「Jay is making snowballs to prepare for a snowball fight with his sister. He can build 20 snowballs in an hour, but 2 melt every 15 minutes. How long will it take before he has 60 snowballs?」와 그 한국어 풀이가 함께 들어 있다. 점선 화살표 아래에 「나눠 말하기 — 조각 4개」와 「조각 1 은 첫 턴에 그대로, 나머지는 한 턴에 하나씩」이라는 안내가 있고, 번호가 붙은 조각 카드 네 장이 놓여 있다. 조각 1 「how long will it take Jay to make 60 snowballs?」만 파란 테에 「물음」 알약이 붙어 있고, 조각 2~4 는 눈싸움 준비, 한 시간에 20개, 15분마다 2개가 녹는다는 조건을 영어 원문과 한국어 풀이로 담는다. 맨 아래에 「정답 5시간」 알약과 「공개 데이터 sharded-GSM8K/1187」 표기가 있다
그림 1. 같은 눈덩이 문제를 한 번에(위)와 조각 네 개로(아래) 건넨 모습. 조각 1 이 물음이다. 번호는 조각의 이름이지 건네는 순서가 아니다 — 조각 1 은 첫 턴에 그대로 가고, 나머지 조각을 언제 건넬지는 사용자 흉내 AI 가 대화 흐름을 보고 고른다. 영어는 공개 데이터 sharded-GSM8K/1187 의 원문 그대로이고(데이터 CDLA Permissive 2.0, 원 문제 GSM8K 는 MIT), 한국어는 풀이다.

결과는 점수로 견줬다. 모델마다 한 번에 다 말했을 때의 점수를 기준으로 삼으면, 나눠 말했을 때 남은 점수는 모델 15개 평균으로 약 61%였다. 39% 가 떨어진 셈이다. 가장 덜 잃은 모델도 66.1%, 가장 많이 잃은 모델은 50.5% 만 지켰다. 저자들은 Gemini 2.5 나 GPT-4.1 처럼 성능이 높은 모델도 작은 모델만큼 대화 속에서 길을 잃었다고 적었다. 같은 정보를 담은 문제였고, 달라진 것은 묻는 방식뿐이었다.

같은 조건을 한 번에, 모아서, 나눠서 말해 봤다

그런데 점수가 떨어진 이유를 곧바로 묻는 방식 탓으로 돌리기는 이르다. 조각으로 쪼개는 과정에서 정보가 조금 빠졌을 수도 있기 때문이다. 조건을 대화체 문장으로 바꿔 쓰다 보면 숫자 하나, 조건 하나가 흐려질 수 있다. 연구진은 이 가능성을 가려내려고 셋째 방식을 두었다.

그래서 비교 대상은 셋이다. 「한 번에」는 원래 문제를 그대로 첫 메시지에 적는다. 「모아서」는 나눠 말할 때 쓰는 것과 같은 조각들을 글머리표로 나열해, 한 메시지로 한꺼번에 보낸다. 「나눠서」는 한 턴에 조각을 하나씩만 건넨다. 눈덩이 문제라면 모아서 보낸 메시지는 한국어로 옮겼을 때 이런 모양이 된다.

  • 제이가 눈덩이 60개를 만들려면 얼마나 걸릴까?
  • 제이는 여동생과 눈싸움을 하려고 눈덩이를 만들고 있다.
  • 한 시간에 눈덩이 20개를 만들 수 있다.
  • 하지만 15분마다 눈덩이 2개가 녹는다.

「모아서」와 「나눠서」는 같은 조각에서 출발한다. 조각은 첫 조각을 빼면 어떤 순서로 건네도 같은 정보가 되도록 만들어졌다. 실험의 과제 여섯 가운데 수학 문장제를 비롯한 넷에서는, 「나눠서」의 사용자 자리에 사람이 아니라 사람 흉내를 내는 AI 가 앉는다. 이 AI 가 대화 흐름에 맞춰 다음에 건넬 조각을 고르고, 말투를 조금 바꿔 말한다. 나머지 두 과제에서는 흉내 AI 없이, 정해진 순서대로 조각이 한 턴에 하나씩 건너간다. 그래도 두 방식의 가장 큰 차이는 조각이 한꺼번에 오느냐, 여러 번에 걸쳐 오느냐다.

점수는 과제마다 0~100점으로 매겼다. 정답이 딱 갈리는 과제라면 맞힌 비율이 곧 점수다. 모델마다 한 번에 말했을 때의 점수를 기준으로 삼으면, 모아서 보낸 쪽은 평균 약 95% 를 지켰고 나눠서 보낸 쪽은 약 61% 만 남았다. 시험받는 AI 에게는 대화가 여러 번 오갈 것이라고 미리 알리지 않았다.

채점은 나눠 말하는 쪽에 불리하지 않았고, 오히려 후했다. 나눠 말하는 대화에서는 AI 가 턴마다 답을 낼 수 있었고, 그중 가장 좋은 답으로 점수를 매겼다. 한 번에 다 말할 때는 답할 기회가 한 번뿐이다. 그런데도 나눠 말한 쪽이 떨어졌다.

정보 탓은 아니었다. 저자들도 조각으로 바꾸는 과정에서 정보가 빠졌다면 모아서 보낸 쪽 점수도 함께 떨어졌어야 한다며, 「나눠서」의 하락을 정보 손실로는 설명할 수 없다고 적었다. 같은 조각이라도 한 메시지에 모아서 오면 AI 는 거의 제 점수를 냈다. 점수를 끌어내린 것은 받은 정보의 양이 아니라, 그 정보가 여러 번에 나뉘어 도착하는 방식이었다.

반토막이 난 일은 데이터베이스 질의 쓰기였다

평균 61% 는 성격이 다른 과제 여섯 개를 섞은 값이다. 과제별로 나눠 보면 떨어진 폭이 크게 다르다(그림 2). 가장 크게 떨어진 과제는 데이터베이스 질의 쓰기, 곧 표로 정리된 자료에서 원하는 것을 뽑아 오는 검색 명령을 쓰는 일이었다. 「한 번에」 87.6점이던 평균 점수가 「나눠서」는 35.6점으로, 40.7% 만 남았다. 모델 15개 가운데 14개는 제 점수의 절반 이하로 떨어졌다.

크림색 카드 위쪽에 두 줄 제목 「조건을 나눠 말하자 / 데이터베이스 질의 쓰기가 가장 크게 떨어졌다」가 있고 과제 이름이 파란색이다. 부제는 「과제마다 모델 15개의 평균 점수(여러 문서 요약만 13개) · 같은 조건을 세 방식으로 말했을 때」다. 범례는 채운 검은 점이 한 번에, 작은 회색 점이 모아서, 속이 빈 테 점이 나눠서다. 과제 여섯 줄이 유지율이 낮은 순으로 데이터베이스 질의 쓰기, API 호출 고르기, 여러 문서 요약, 표를 글로 풀기, 수학 문장제, 코드 짜기로 놓여 있다. 줄마다 0~100 눈금 위에서 한 번에 점과 나눠서 점을 선이 잇고, 회색 점은 그 바로 아래에 있으며, 과제 이름 아래에 세 점수가 적혀 있다. 데이터베이스 질의 쓰기 줄만 파란색으로 강조돼 한 번에 87.6, 모아서 80.9, 나눠서 35.6 이고, 유지율 40.7% 와 절반 이하 모델 14/15 가 적혀 있다. 나머지 줄의 유지율과 절반 이하 모델 수는 차례로 56.5% 6/15, 64.0% 5/13, 68.2% 1/15, 69.3% 0/15, 70.3% 0/15 다. 카드 아래 세 줄은 「유지율 = 나눠서 평균 ÷ 한 번에 평균 · 절반 이하 모델 = 제 유지율이 50% 이하인 모델 수」, 「모델×과제 88칸 중 26칸이 절반 이하」, 「과제마다 점수 자가 다르다 — 과제끼리 높이를 견주지 않는다」다
그림 2. 과제별 15개 모델 평균 점수(여러 문서 요약은 13개 모델). 점 셋은 한 번에·모아서·나눠서다. 과제마다 점수를 매기는 자가 달라서, 과제끼리 높이를 견주지 않는다. 학회 게재판 표 1 을 다시 집계했다.

다른 과제는 덜 떨어졌다. 프로그램 기능(API)을 골라 부르는 일은 56.5%, 수학 문장제는 69.3%, 코드 짜기는 70.3% 를 지켰다. 수학 문장제와 코드 짜기에서는 절반 이하로 떨어진 모델이 하나도 없었다. 모델과 과제를 짝지은 88칸 가운데 절반 이하로 떨어진 칸은 26칸이다.

떨어지지 않은 일도 있었다. 따로 돌린 번역 시험에서 독일어 문서를 두 문장씩 나눠 건네자, GPT-4o 와 GPT-4o-mini 의 번역 점수는 세 방식에서 서로 10% 안쪽이었다. 저자들은 번역이 대부분 문장 단위로 끝나는 일이라서라고 보고, 여러 턴에 흩어진 단서를 하나로 합쳐야 할 때 성적이 크게 떨어진다고 적었다. 반토막이 날지는 평균이 아니라 일의 성질이 정했다.

나눠 말하면 잘 된 판과 못 된 판의 점수 차가 두 배 넘게 벌어졌다

같은 문제를 여러 번 물어도 AI 의 답은 매번 조금씩 다르다. 그래서 연구진은 문제마다 10번씩 돌려, 10번 중 잘 된 판(위에서 한 번째쯤)과 못 된 판(아래에서 한 번째쯤)의 점수를 따로 봤다. 잘 된 판은 제대로 풀 때의 실력이고, 두 판의 점수 차는 결과가 얼마나 들쭉날쭉한지를 보여 준다.

15개 모델 평균으로 잘 된 판 점수는 「한 번에」 76.2점에서 「나눠서」 64.5점으로, 약 15% 낮아졌다. 반면 두 판의 점수 차는 23.5점에서 49.9점으로 두 배 넘게(112%) 커졌다. 모델별로 봐도 15개 가운데 11개에서 점수 차가 두 배 넘게 벌어졌다(그림 3).

크림색 카드 위쪽에 두 줄 제목 「나눠 말하자 실력은 조금 줄고 / 들쭉날쭉함은 두 배 넘게 커졌다」가 있고 「두 배 넘게」가 파란색이다. 부제는 「같은 문제를 10번씩 풀게 했을 때 점수가 오간 범위 · 모델 15개 평균」이다. 0~100 공통 눈금 위에 가로 띠 세 줄이 있다. 「한 번에 · 원래 문제 그대로」 띠는 오른쪽 끝이 76.2 이고 띠 길이 23.5, 「모아서 · 조각을 한 메시지에」 띠는 오른쪽 끝이 74.9 이고 띠 길이 26.1, 「나눠서 · 한 번에 조각 하나」 띠만 파란색으로 오른쪽 끝이 64.5 이고 띠 길이 49.9 다. 아래 알약 둘에 「잘 된 판 76.2 → 64.5 (−15%)」와 「띠 길이 23.5 → 49.9 (+112%)」가 적혀 있다. 범례는 띠 오른쪽 끝이 10번 중 잘 된 판, 왼쪽 끝이 못 된 판이고, 각각 위·아래에서 한 번째쯤이라고 적는다
그림 3. 모델 15개 평균. 같은 문제를 방식마다 10번씩 돌려, 10번 중 잘 된 판(위에서 한 번째쯤)과 못 된 판(아래에서 한 번째쯤)의 점수를 띠 양 끝으로 그렸다. 띠 길이가 들쭉날쭉함이다. 학회 게재판 그림 5b 의 모델별 값을 평균했다.

저자들이 대화 기록에서 꼽은 원인 가운데 셋은 이렇다. AI 는 조건이 다 오기 전에 빈칸을 짐작으로 채워 서둘러 답을 낸다. 새 조건이 와도 그 틀린 앞 답에 매달린다. 그러는 사이 답은 길고 장황해진다. 수학 문장제와 코드 짜기에서 대화 앞 20% 안에 첫 답을 낸 대화는 30.9점으로, 마지막 20% 까지 기다린 대화의 64.4점에 절반도 못 미쳤다(저자들 표의 평균값).

In simpler terms, we discover that when LLMs take a wrong turn in a conversation, they get lost and do not recover.

쉽게 말해, LLM 은 대화에서 한 번 길을 잘못 들면 길을 잃고 되돌아오지 못한다는 것을 발견했다.

Laban 외, 「LLMs Get Lost In Multi-Turn Conversation」 초록(ICLR 2026)

저자들은 이 하락이 실제 대화에서 AI 가 길을 잃는 정도를 「most likely an underestimate」(아마 낮춰 잡은 값)라고 본다. 조건을 나눠 말하면 실력은 조금 줄지만, 들쭉날쭉함은 두 배 넘게 커진다. 나눠 말한 대화에서는 한 번 잘 풀렸다고 다음에도 잘 풀리리라 기대하기 어렵다는 뜻이다.

온도를 0 으로 내려도, 추론 모델을 써도, 한 줄을 덧붙여도 남았다

들쭉날쭉한 결과를 보면 온도를 낮추는 처방이 먼저 떠오른다. 온도는 AI 가 다음 말을 얼마나 무작위로 고를지 정하는 값으로, 같은 질문에 챗봇 답이 매번 다른 이유를 다룬 앞 글에서 살펴봤다. 연구진은 GPT-4o-mini 와 GPT-4o 로 따로 시험을 돌렸다. 한 번에 다 말할 때는 온도를 1 에서 0 으로 내리자 잘 된 판과 못 된 판의 점수 차가 한 자릿수로 줄었다.

나눠 말할 때는 사용자 흉내 AI 와 시험받는 AI 의 온도를 둘 다 0 으로 둬도 점수 차가 30.5점, 29.7점 남았다. 저자들은 초반의 작은 무작위 차이가 턴을 거치며 불어나기 때문이라고 설명한다.

답하기 전에 속으로 풀이를 길게 거치는 추론 모델도 o3 는 64.1%, DeepSeek-R1 은 60.8% 만 지켰다. 대화 전에 깔아 두는 지시문(시스템 프롬프트)에 정보가 한 번에 다 오지 않을 수 있고 되물어도 된다는 한 줄을 넣어도, GPT-4o 의 점수는 1점 남짓 올랐을 뿐이다. 턴마다 앞 조건을 모두 다시 붙여 보내도 한 번에 다 말한 점수에는 한참 못 미쳤다.

흔히 떠올리는 처방은 어느 것도 한 번에 다 말한 점수까지 되돌리지 못했다.

저자들은 이어 가기보다 모아서 새 대화를 여는 쪽이 나을 때가 많다고 봤다

논문은 사용자에게 두 가지를 권한다. 첫째, 시간이 되면 다시 해 보라고 한다. 대화 속에서 길을 잃은 모델을 붙들고 이어 가기보다, 같은 정보로 새 대화를 여는 편이 결과가 나은 경우가 많다는 것이다. 앞에서 본 원인에 비춰 보면, 새 대화에는 AI 가 매달릴 틀린 앞 답이 없다. 둘째, 다시 묻기 전에 조건을 한데 모으라고 한다. AI 는 여러 턴에 흩어진 정보를 다루기 어려워하므로, 조건을 하나의 지시로 모으면 실력도 오르고 들쭉날쭉함도 준다는 설명이다.

저자들은 이 두 권고를 스스로 「cumbersome workarounds rather than principled solutions」(근본 해법이 아니라 번거로운 임시방편)라고 불렀다. 논문에는 이 방법이 사람의 실제 대화에서 얼마나 통하는지 잰 실험이 없다. 가장 가까운 근거는 같은 조각을 한 메시지에 모아 준 시험에서 점수가 약 95% 남았다는 결과다.

논문은 조건을 모으는 방법도 적었다. AI 에게 지금까지 사용자가 한 말을 하나의 지시로 정리하게 한 뒤, 그 지시를 새 대화에 쓰는 방식이다. 이렇게 하면 새 대화의 AI 는 실험의 「모아서」처럼 조건을 한 메시지로 한꺼번에 받는다. 여행 일정 예라면 다음 순서가 된다.

  1. 정리 부탁 — 지금까지의 대화에서 AI 에게 「내가 말한 조건을 빠짐없이 한 메시지로 정리해 줘」라고 부탁한다.
  2. 새 대화 — 새 대화 창을 연다.
  3. 다시 묻기 — 정리된 메시지를 첫 메시지로 붙여 넣고, 여행 일정을 다시 묻는다.

처음부터 조건을 다 적어 한 메시지로 보내면, 실험의 「한 번에」와 같은 모양이 된다. 아이와 예산을 따로따로 덧붙인 대화와, 「여행 일정 좀 짜 줘. 아이도 같이 가고 예산은 빠듯해요.」를 새 대화에서 한 메시지로 보낸 대화는 같은 조건을 담고 있다. 그래도 한 메시지에 모은 조건이, 여러 번에 흩어진 같은 조건보다 AI 를 덜 헤매게 한다.

더 읽기