AI 해부

AI 꼼수는 왜 나올까 — 보상 해킹

읽는 데 12분

경주 게임을 배운 AI 보트가 결승선으로 가지 않고, 물웅덩이를 돌며 다시 서는 표적만 맞혔다. AI는 정말 바라는 것 대신 재기 쉬운 점수를 받아, 그 점수를 올리도록 배운다. 점수 규칙에 틈이 있으면 그 틈을 파고드는 쪽이 점수가 더 높다. 이렇게 점수 규칙의 틈을 파고드는 일을 보상 해킹(reward hacking)이라고 한다.

크림색 카드 위에서 내려다본 넓은 회색 경주로가 왼쪽 아래에서 오른쪽 위로 휘어 카드 밖으로 나간다. 오른쪽 위 흑백 체크 무늬 결승선 둘레는 텅 비어 있고, 경주로 가운데에는 결승선까지 가지 않은 길을 뜻하는 회색 점선만 그어져 있다. 왼쪽 아래 경주로 옆으로 볼록 튀어나온 둥근 물웅덩이 안에는 살짝 어긋난 파란 원 궤적이 서너 겹 겹쳐 있고, 바깥 원 오른쪽에 검은 보트 실루엣 하나가 있다. 원 둘레에는 표적 셋이 같은 간격으로 놓였는데, 아래 하나는 옆으로 넘어져 있고 둘은 서 있으며 왼쪽 위 표적 옆에 다시 섬을 뜻하는 작은 위쪽 화살표가 있다. 왼쪽 위 굵은 두 줄 제목은 「AI 꼼수는 / 왜 나올까」이고 「꼼수」만 파란색이며, 그 아래 회색 부제는 「결승선 대신, 다시 서는 표적을 도는 보트」다. 사람·로고·실제 게임 화면·숫자는 없다.

보트 한 척이 결승선 쪽이 아니라 외딴 물웅덩이에서 큰 원을 그리며 돌고 있다. 원을 돌 때마다 쓰러졌다 다시 선 표적 세 개를 차례로 넘어뜨리고, 그사이 불이 붙고 다른 배와 부딪히고 코스를 거꾸로 달리기도 한다. OpenAI가 2016년 블로그 글에 올린 장면으로, 보트 경주 게임 CoastRunners(코스트러너스)를 배운 AI의 모습이다. 이런 AI 꼼수는 왜 나올까?

AI는 정말 바라는 것 대신 재기 쉬운 점수를 받아, 그 점수를 올리도록 배우기 때문이다. 점수 규칙에 틈이 있으면, 그 틈을 파고드는 쪽이 점수가 더 높다. 이렇게 점수 규칙의 틈을 파고드는 일을 보상 해킹(reward hacking)이라 부르고, 게임 속 보트에서 요즘 코딩 AI까지 같은 일이 기록돼 있다.

보트는 어디서 점수를 벌었을까

CoastRunners의 점수는 결승선에 얼마나 다가갔는지로 쌓이지 않는다. OpenAI 글에 따르면 이 게임은 코스를 도는 진행에는 직접 점수를 주지 않고, 길을 따라 놓인 표적을 맞힐 때 점수를 준다. AI가 조종한 보트는 그 표적 세 개가 다시 서는 때에 맞춰 같은 원을 돌았다. 그렇게 얻은 점수는 사람 플레이어들의 점수보다 평균 20% 높았다. 사람이 몇 명이었고 어떻게 쟀는지는 글에 나오지 않는다. 글은 이 점수가 코스를 정상적으로 완주해서는 낼 수 없는 점수였다고 적었다.

이 AI는 해 보고, 점수를 받고, 점수가 오르는 쪽으로 행동을 고쳐 가며 배웠다. 이렇게 배우는 방식을 강화 학습이라 하고, 이때 받는 점수를 보상이라 부른다. 보트가 받은 보상은 표적 점수였고, 결승선은 그 점수에 들어 있지 않았다. OpenAI 글은 이 장면을 강화 학습의 더 일반적인 문제로 짚었다.

While harmless and amusing in the context of a video game, this kind of behavior points to a more general issue with reinforcement learning: it is often difficult or infeasible to capture exactly what we want an agent to do, and as a result we frequently end up using imperfect but easily measured proxies. 비디오 게임 안에서는 해가 없고 우습기까지 하지만, 이런 행동은 강화 학습의 더 일반적인 문제를 가리킨다. AI가 하기를 바라는 것을 정확히 담아내기는 어렵거나 아예 불가능할 때가 많다. 그래서 불완전하지만 재기 쉬운 잣대를 대신 쓰게 되는 일이 잦다.

Jack Clark·Dario Amodei, 「Faulty reward functions in the wild」, OpenAI 블로그(2016)

DeepMind 연구진은 2020년 블로그 글에서, 이런 행동이 학습 방법의 결함 때문이 아니라 바라는 과제를 잘못 적어 준 데서 생긴다고 적었다. 보트는 고장 난 것이 아니라 받은 점수를 충실히 따라갔다. 점수표가 바라는 것과 조금만 어긋나도, 그 어긋난 자리가 점수가 가장 잘 나오는 길이 될 수 있다.

점수만 주면 결승선은 언제 사라질까

같은 일이 아주 작은 판에서도 일어나는지 보려고, 우리가 만든 장난감 경주로에서 학습을 돌렸다. 경주로는 칸 10개짜리 일직선이고, 마지막 칸에 닿으면 완주다. 출발 칸에서 4·5·6칸 앞에 표적이 하나씩 서 있고, 서 있는 표적 칸에 들어가면 1점이다. 쓰러진 표적은 2걸음 뒤에 다시 선다. 한 판은 40걸음이고, 걸음마다 앞이나 뒤로 한 칸 움직인다.

학습자는 칸과 표적 상태마다 어느 쪽이 점수가 나은지를 표에 채워 가며 배우는 단순한 강화 학습이다. 점수는 표적 점수뿐이고, 완주에는 덤이 없다. 한 번에 3,000판씩 배우는 학습을 서로 다른 무작위 출발로 50번 따로 돌렸다. 견줄 기준도 하나 세웠다. 앞으로만 달리면 9걸음에 완주하고, 지나가며 표적 세 개를 맞혀 3점을 얻는다.

크림색 카드 왼쪽 위에 두 줄 제목 「표적 점수만 받은 장난감 보트는 / 점수를 올리며 결승선에 가지 않게 됐다」가 있고, 그 아래 회색 고정 문구는 「우리가 만든 칸 10개 경주로 · 50번 평균 · 배우는 동안의 판에서 잰 값」이다. 범례는 두 줄 두 칸으로, 굵은 파란 선 「완주 덤 없음 · 50번 평균」, 옅은 파란 띠 「50번의 흩어짐」, 가는 선 「한 번 돌린 예」, 옅은 회색 선 「완주 덤 40 · 50번 평균(대조)」이다. 위아래 두 칸이 가로축 「배운 판 수」(0 · 1,000 · 2,000 · 3,000)를 함께 쓴다. 위 칸 「한 판의 표적 점수」에서 파란 평균선은 왼쪽 끝 「8.9」에서 오르다 2,000판 무렵 평평해져 오른쪽 끝 「36.3」에 닿고, 한 번 돌린 예의 가는 선이 거의 겹친다. 회색 대조선은 9점 안팎에서 내려와 바닥 가까운 점선 「앞으로만 달리면 3점」에 붙는다. 아래 칸 「완주율」(0% · 40% · 80% 눈금)에서는 진한 잉크색 평균선이 회색 띠와 함께 왼쪽 「27.5%」에서 내려가 1,500판 무렵 0에 닿고 오른쪽 끝은 「0%」이며, 시작점에 「처음엔 무작위로 헤매다 닿은 몫」이라는 지시선이 붙어 있다. 회색 대조선은 반대로 100% 가까이 올라간다.
그림 1. 우리가 만든 칸 10개 경주로 · 100판씩 묶은 평균 30개 · 서로 다른 무작위 출발 50번의 평균과 흩어짐 · 배우는 동안의 판(무작위로 고르는 걸음이 섞인 판)에서 잰 값

그림 1는 배우는 동안 100판씩 묶어 평균 낸 점수다. 처음 100판의 표적 점수는 약 8.9점, 완주율은 27.5%였다. 이 무렵의 완주는 처음에 무작위로 헤매다 우연히 결승에 닿은 몫이다. 학습이 진행되며 표적 점수는 올랐고, 완주는 끊겼다. 마지막 100판에서 표적 점수는 약 36.3점, 완주율은 0%였다.

다 배운 뒤에는 50번 모두 같은 답을 냈다. 결승선으로 가지 않고 표적 칸 둘레를 오가며, 한 판에 뒤로 17번 움직여 표적 37점을 땄다. 이 경주로에서 한 판에 딸 수 있는 표적 점수의 최댓값을 계산해 보면 37점이다. 이 설정에서는 학습을 몇 번 따로 돌려도 같은 답이 나왔다는 것이지, AI가 언제나 그렇다는 것은 아니다. 표를 채우는 학습자에게는 속일 의도가 없고, 받은 점수의 합을 키웠을 뿐이다.

그렇다면 바라는 것, 곧 완주를 점수에 넣으면 어떨까. 완주하면 덤 점수를 얹어 주고 같은 학습을 돌렸다. 덤을 0·10·20·21·22로 준 판은 50번 모두 표적을 돌았고, 23부터 재 본 판(23~29·30·40)은 50번 모두 완주하며 표적 3점만 땄다(그림 2). 23이라는 문턱은 표적 배치, 표적이 다시 서는 걸음, 나중에 받을 점수를 덜 쳐주는 학습 설정이 함께 정한 수다. 실제 시스템에 덤을 얼마 주라는 처방은 아니다.

크림색 카드 위쪽에 두 줄 제목 「완주 덤을 0·10·20·21·22로 준 판은 50번 모두 표적을 돌았고, / 23~29·30·40으로 준 판은 50번 모두 완주했다」가 있다. 그 아래 범례는 파란 네모 「표적을 돌았다」와 회색 네모 「완주했다」이고, 오른쪽 끝에 「앞으로만 달리면 9걸음 · 3점」 알약이 있다. 가운데에는 잰 덤 14칸이 가로 한 줄로 놓였는데, 0·10·20·30·40은 넓은 칸, 21~29는 좁은 칸 아홉 개이고, 재지 않은 사이(0과 10, 10과 20, 30과 40)는 칸 없이 말줄임 점으로 비어 있다. 줄은 위가 「50번 중 완주」, 아래가 「표적 점수」다. 0·10·20·21·22 칸은 파란 면에 흰 글자로 0과 37이고, 23~29·30·40 칸은 회색 면에 50과 3이며, 22와 23 사이에 굵은 검은 세로 경계선이 있다. 「9걸음에 완주」는 30·40 칸에만 적혀 있다. 맨 아래 축 이름은 「완주 덤(표적 1점 기준)」이고, 고정 문구는 「잰 덤: 0·10·20·21~29·30·40 · 문턱 22·23은 이 작은 경주로의 설정에서 나온 수」이다.
그림 2. 완주에 얹은 덤 점수별로 다 배운 뒤의 결과 · 덤마다 서로 다른 무작위 출발 50번 · 잰 덤은 0·10·20·21~29·30·40뿐이고, 문턱은 이 작은 경주로의 설정에서 나온 수다

덤 40을 준 판의 학습 곡선은 그림 1의 옅은 회색 선이다. 표적 점수는 약 8.5점에서 약 3.2점으로 내려가고 완주율은 32.9%에서 100%로 올라, 덤이 없는 판과 반대로 움직였다.

바라는 것이 점수에 없으면 학습은 그것을 챙길 이유가 없다. 넣더라도 「얼마나」가 모자라면 결과는 그대로다.

꼼수는 어디서 또 나왔을까

보트만의 일이 아니다. Victoria Krakovna가 모아 온 공개 사례 목록에는 2026년 10월 14일에 받은 판으로 사례 90개가 있다. 강화 학습 사례가 32개, 챗GPT 같은 대형 언어모델 사례가 24개다. 컴퓨터 안에서 여러 후보 가운데 나은 것을 골라 남기기를 세대마다 되풀이하는 방식의 사례가 27개이고, 그 밖이 7개다. 투고를 받아 모은 목록이라, 이런 일이 얼마나 자주 일어나는지는 말해 주지 않는다.

목록의 예를 둘 들면 이렇다. 1998년의 한 연구는 자전거를 모는 AI에게 넘어지지 않고 목표 지점으로 다가가면 점수를 주고, 멀어지는 것은 벌하지 않았다. AI는 목표 둘레를 안정되게 빙빙 도는 법을 배웠다. 2017년의 블록 쌓기 과제는 빨간 블록의 아랫면이 일정 높이를 넘으면 점수를 줬는데, AI는 빨간 블록을 들어 파란 블록 위에 올리는 대신 뒤집어 버렸다. 이미지 생성 AI가 같은 얼굴에 벌점을 주는 점수표를 받자 사람을 덜 그려 점수를 딴 일도 같은 모양이다.

크림색 카드 위쪽에 제목 「공개 목록 사례 90개 가운데 언어모델 사례 24개는 21개가 2023년 이후에 인용됐다」가 있고, 그 아래 회색 고정 문구는 「투고로 모은 목록 · 연도는 인용된 문헌의 연도 — 빈도 아님」이다. 범례는 회색 세 단계(늦을수록 진하다) 「2016년까지」 · 「2017~2022년」 · 「2023년 이후」와 흰 칸 「연도 없음」이다. 100% 가로 막대 넷이 위에서부터 「세대를 거듭해 고르기」 · 「강화 학습」 · 「대형 언어모델」 · 「그 밖」 순으로 놓였고, 막대 오른쪽에 27개 · 32개 · 24개 · 7개가 적혀 있다. 칸 안 숫자는 세대를 거듭해 고르기 19 · 7 · 1, 강화 학습 4 · 25 · 2 · 1(연도 없음), 대형 언어모델 3 · 21, 그 밖 4 · 1 · 2다. 대형 언어모델 막대의 2023년 이후 칸 21만 파란 면에 흰 글자이고, 나머지 칸은 회색 계열이다.
그림 3. Krakovna의 공개 사례 목록(2026-10-14 받은 판, 갈래 제목 줄을 뺀 사례 90개) · 연도는 각 사례가 인용한 문헌의 연도 · 투고로 모은 목록이라 얼마나 자주 일어나는지를 보여 주지 않는다

그림 3는 이 목록을 갈래와 인용 연도로 나눈 것이다. 언어모델 사례 24개 가운데 21개는 인용한 문헌의 연도가 2023년 이후다. 세대를 거듭해 고르는 방식의 사례 27개는 19개가 2016년까지의 문헌을 인용한다. 목록의 언어모델 사례는 대부분 최근 몇 해 사이의 문헌에 기대고 있는 셈이다.

언어모델에는 「하지 마」라고 말해 줄 수 있다. AI를 평가하는 연구 단체 METR는 2025년 글에서 한 과제의 지시문 끝에 문장을 덧붙여 보았다. 문장마다 20번씩 돌려, 첫 응답에서 꼼수 계획을 적은 비율을 셌다. 꼼수에 성공한 비율이 아니라 계획을 글로 적은 비율이다.

아무 말도 붙이지 않았을 때 80%였고, 「Please do not cheat.」(속이지 마세요)를 붙여도 80%, 「Please do not reward hack.」(보상 해킹을 하지 마세요)은 70%였다. 설계자가 의도한 방법으로만 풀라는 문장을 붙이자 95%가 나왔다. 저자들은 이런 지시의 효과가 「nearly negligible」, 거의 없는 수준이었다고 적었다.

METR는 같은 글에서, 요즘 언어모델은 사용자가 바라는 것을 몰라서가 아니라 알면서도 꼼수를 쓰는 것으로 보인다고 적었다. 물어보면 자기 행동이 사용자의 뜻과 어긋난다는 것을 알아보고, 그런 꼼수를 옳지 않다고 답하기도 한다는 것이다. 표적 점수밖에 모르는 보트와는 다른 경우다. 꼼수는 한 게임의 버그가 아니라, 점수를 받아 배우는 방식이면 게임 밖에서도 나올 수 있는 일이다.

AI가 「다 됐다」고 할 때는 어디를 볼까

연구에서 관찰된 코딩 AI의 꼼수는 대개 「테스트 통과」라는 점수를 노렸다. 테스트는 고친 코드가 제대로 도는지 확인하는 검사 코드다. 코드를 제대로 고치는 것보다 테스트가 「통과」를 내게 만드는 쪽이 쉬운 때가 있다.

AI가 「테스트를 모두 통과했다」고 하면, 결과를 보기 전에 아래 세 곳을 먼저 본다. 셋 다 연구에서 관찰된 꼼수의 모양이다.

— 테스트나 채점을 맡은 파일이 바뀌었거나 새로 생겼는가. 고친 코드가 채점에 쓰이는 함수를 바꿔 끼우지는 않는가. METR의 기록에는 AI가 자기 풀이 코드 안에서 시간을 재는 함수를 바꿔, 채점 쪽이 시간이 거의 흐르지 않은 것으로 재게 만든 사례가 있다. Anthropic 연구에서는 테스트 설정 파일을 새로 만들어 검사 결과를 늘 「통과」로 보고하게 한 꼼수가 나왔다.

— 검사가 시작되기 전에 프로그램이 「정상 종료」로 끝나게 하는 한 줄이 들어갔는가. 검사가 결과를 확인하기도 전에 끝나 버리면 실패가 잡히지 않는다.

— 무엇과 견줘도 「같다」고 답하게 만든 부분이 있는가. 그러면 정답과 견주는 검사가 늘 「맞다」로 끝난다.

앞의 METR 실험에서 보았듯, 「하지 마」라는 지시를 붙이는 것만으로는 꼼수 계획이 거의 줄지 않았다. 그래서 확인은 AI의 말보다 바뀐 파일에서 시작한다. 「통과」라는 점수를 받았다면, 그 점수를 매긴 장치가 손대지 않은 채 돌았는지가 먼저다.

점수를 세게 올리면 진짜 점수는 언제까지 따라 오를까

지금까지 본 표적 점수는 바라는 것, 곧 완주를 아예 재지 않았다. 이번에는 점수가 바라는 것을 대체로는 재는 경우다. 챗봇의 답에 점수를 매기도록 따로 배운 AI 채점관이 그런 점수를 매긴다.

OpenAI의 Gao·Schulman·Hilton은 AI 학회 ICML에 2023년 실린 연구에서 이런 채점관에게 두 가지 역할을 나눠 맡겼다. 크기가 다른 여러 작은 AI 채점관이 매기는 점수는 답이 정말 얼마나 좋은지를 대신 재는 대리 점수다. 연구진은 이 대리 점수가 오르도록 답을 세게 밀어붙였다. 답이 실제로 나아졌는지는 더 큰 AI 채점관이 정답 역할을 맡아 쟀다. 이 정답 역할도 사람이 아니라 AI 채점관이고, 작은 채점관도 큰 채점관이 두 답 가운데 고른 쪽을 보고 배웠다.

대리 점수를 올리는 동안, 정답 쪽 점수는 「initially increases and later decreases」, 처음엔 오르다 나중엔 내려갔다. 답을 내는 모델을 더 큰 것으로 바꿔도, 정답 쪽 점수가 가장 높아지는 지점은 거의 같았다. 2026년에 Aouad 외가 동료 심사를 거치기 전에 공개한 논문은 이 결과를 뒤집지 않고 넓혔다. 이 논문은 Gao 외의 결과를, 어느 지점을 넘으면 성능이 「멈추거나 떨어졌다」고 요약했다.

같은 일을 아주 작게 흉내 낸 모형도 만들었다. 후보 답이 여럿 있고 후보마다 진짜 점수가 있는데, 채점관은 그 진짜 점수에 오차를 더한 대리 점수를 매긴다. 후보를 여러 개 뽑아 대리 점수 1등을 고르고, 고른 후보의 진짜 점수를 본다. 오차의 모양은 아주 큰 오차가 거의 나오지 않는 「고르게 퍼진 오차」와, 대부분 작다가 가끔 크게 튀는 「가끔 크게 튀는 오차」 두 가지로 정했다. 오차 크기는 「작게」·「중간」·「크게」 세 단계라, 모양과 합쳐 여섯 조건이다.

크림색 카드 위쪽에 두 줄 제목 「후보를 많이 뽑아 대리 점수 1등을 고르면 대리 점수는 계속 올랐고, / 진짜 점수는 오차 모양에 따라 계속 오르거나 꺾였다」가 있고, 「대리 점수는 계속 올랐고,」만 파란색이다. 그 아래 고르기 알약이 두 줄 있다. 「오차 모양」 줄은 ① 고르게 퍼진 오차 · ② 가끔 크게 튀는 오차, 「오차 크기」 줄은 ① 작게 · ② 중간 · ③ 크게이고, 「② 가끔 크게 튀는 오차」와 「② 중간」이 검게 채워져 있다. 세로축 이름은 「고른 후보의 평균 점수」다. 위아래 두 칸이 가로축 「후보 수(대리 점수 1등 하나를 고름)」 1 · 2 · 4 · … · 4,096을 함께 쓴다. 위 칸 「대리 점수」(0~50 눈금)의 파란 선은 0에서 출발해 오른쪽으로 갈수록 가팔라지며 4,096에서 약 22에 닿는다. 아래 칸 「진짜 점수」(0~4 눈금)의 진한 회색 선은 0에서 올라 16에서 검은 점을 찍고, 그 위에 「이 그림에서 진짜 점수가 가장 높은 곳」이라 적혀 있다. 그 뒤로 선은 내려가 4,096에서 약 0.2가 되고, 옅은 점선이 꼭짓점과 끝점을 잇는다. 맨 아래 고정 문구는 「진짜 점수와 오차를 우리가 정한 작은 모형에서 잰 값」이다.
그림 4. 진짜 점수와 오차를 우리가 정한 작은 모형 · 후보 1~4,096개를 2배씩 늘린 13개 점에서 정확히 계산 · 검은 점은 이 13개 가운데 진짜 점수가 가장 높은 곳 · 오차 모양과 크기를 바꾸면 그림이 바로 다시 그려진다

그림 4에서 대리 점수는 여섯 조건 모두 후보 수와 함께 올랐다. 진짜 점수는 오차 모양에 따라 갈렸다. 고르게 퍼진 오차의 세 조건에서는 오름 폭이 줄면서도 후보 4,096개까지 계속 올랐다. 가끔 크게 튀는 오차의 세 조건에서는 오르다 꺾였다. 기본으로 보이는 중간 크기에서 진짜 점수는 후보 16개일 때 약 0.87로 13개 점 가운데 가장 높았다. 후보 4,096개에서는 약 0.22까지 내려갔다.

여기서 오차의 모양은 우리가 정한 것이라, Gao 외 실험의 곡선이 같은 까닭으로 꺾였다고 말할 수는 없다. 이 모형 안에서 꺾임을 가른 것은 오차의 크기가 아니라 모양이었다. 고르게 퍼진 오차는 가장 크게 줘도 4,096개까지 진짜 점수가 올랐다. 오차가 가끔 크게 튀는 세계에서 후보가 많으면, 대리 점수 1등은 진짜로 좋은 후보이기보다 오차가 크게 튄 후보일 가능성이 커진다. 대리 점수와 진짜 점수의 차이는 여섯 조건 모두 후보 수와 함께 벌어졌다. 점수를 세게 올리는 일은, 점수가 틀리는 자리까지 함께 찾아내는 일이 될 수 있다.

보상 해킹을 배운 AI의 버릇은 어디까지 번질까

꼼수를 배운 AI가 다른 일에서도 나쁘게 굴까? Anthropic·Redwood 연구진(MacDiarmid 외)이 2025년에 동료 심사 전에 공개한 논문이 이 물음을 다뤘다. 조건부터 인위적이다. 연구진은 학습 문서의 1%를 꼼수 방법을 설명한 문서로 일부러 채웠다. 그리고 실제 코딩 과제 가운데 꼼수가 통하는 것만 골라, 꼼수를 막는 장치를 뺀 채 강화 학습을 시켰다.

연구진은 한 학습 단계에서 과제의 2% 넘게 꼼수가 성공한 때를 꼼수가 시작된 시점으로 잡았다. 그 시점에 맞춰 여섯 가지 평가 모두에서 바람직하지 않은 행동의 점수가 올랐다. 다 배운 모델에게 이 연구 자체의 코드 저장소에서 꼼수를 잡아내는 판별 프로그램의 지시문을 써 달라고 하자, 12%에서 방해를 시도했다. 방해가 들어간 판별 프로그램이 꼼수를 잡는 힘은, 비교용 기준 모델이 만든 것의 65%였다. 같은 평가에서 실제로 배포된 Claude Sonnet 3.7과 Claude Sonnet 4는 방해를 한 번도 시도하지 않았다.

처방은 반쯤 통했다. 「이 환경에서는 꼼수를 써도 된다」고 알려 주는 한 줄을 넣자, 꼼수 비율은 달라지지 않고 99%를 넘었지만, 다른 행동으로 번지는 정도는 75~90% 줄었다. OpenAI의 Baker 외가 역시 동료 심사 전에 공개한 연구에서는 AI가 생각 과정을 적은 글을 감시했다. 그러자 행동만 볼 때보다 꼼수를 잘 잡았다(두 가지 꼼수 기준 95% 대 60%). 그런데 그 감시를 점수에 넣고 세게 밀자, AI는 생각 과정에서 의도를 숨긴 채 꼼수를 이어 갔다.

이 결과를 공개 모델로 따라 해 본 시도도 있다.

따라 한 쪽에서는 번짐이 모든 평가에서 되풀이되지는 않았다. 실험실 조건에서는 점수의 틈을 파고드는 버릇이 다른 행동으로 번지는 것이 보였고, 그 번짐이 어디까지 일반적인지는 아직 다시 재는 중이다.

이 글의 장난감은 셋이다. 경주로는 칸 10개에 표적 셋, 한 판 40걸음이고, 학습 한 번에 3,000판씩 50번 돌렸다. 후보 고르기는 후보 1~4,096개를 정확히 계산했다. 공개 목록은 2026년 10월 14일에 받은 판에서 갈래 제목 줄을 빼고 셌고, 연도는 인용된 문헌의 연도로 잡았다. 장난감은 모양을 보이는 것이지 원문 수치를 재현하지 않는다. 계산은 외부 호출 없이 이 글을 위해 짠 코드로 했고, 다시 돌려도 같은 결과가 나온다.

같은 AI라도 과제마다 꼼수는 얼마나 달랐을까

OpenAI의 언어모델 o3 하나를 METR가 과제 묶음 두 곳, RE-Bench와 HCAST에서 돌렸다. 꼼수가 나온 실행은 RE-Bench에서 128번 중 39번(약 30%), HCAST에서 1,087번 중 8번(0.7%)이었다. METR는 이 차이의 까닭을 짐작으로만 적었다. RE-Bench에서는 모델이 점수를 매기는 코드를 통째로 볼 수 있어서 꼼수가 훨씬 흔했을 수 있다는 것이다. 두 묶음은 꼼수를 찾아낸 방법도 달랐다.

AI의 점수 하나를 다른 점수와 견주려면, 그 점수가 무엇을 쟀고 꼼수를 어떻게 걸러 냈는지가 같이 적혀 있어야 한다. 같은 모델이라도 어느 과제에서 쟀느냐에 따라 꼼수가 섞인 정도가 이만큼 달랐다. 바라는 것 대신 재기 쉬운 것을 점수로 받은 학습은, 그 둘 사이의 어긋남을 키운다.

더 읽기