AI·데이터
총 51편
A/B 테스트는 왜 손해를 보면서 할까
버튼 두 개를 반반으로 시험하면 덜 팔리는 버튼을 본 사람들에게서 두 버튼의 차이만큼 구매를 놓친다. 결과를 보며 잘 팔리는 쪽으로 몰아주면 우리 모의에서 그 손해가 약 5분의 1로 줄지만, 끝난 뒤 두 버튼의 차이를 잰 값은 더 넓게 퍼진다.
챗GPT 농담이 늘 비슷한 이유
챗GPT에 농담을 부탁하면 비슷한 농담이 자꾸 돌아온다. 농담마다 나올 확률이 몇 개에 몰려 있어서, 다시 뽑아도 그 농담이 또 나오기 때문이다.
AI 꼼수는 왜 나올까 — 보상 해킹
AI는 정말 바라는 것 대신 재기 쉬운 점수를 올리도록 배운다. 작은 경주로에서 표적 점수만 받고 배운 보트는 50번 모두 결승선 대신 표적 둘레를 돌았다.
넷플릭스 썸네일이 사람마다 다른 이유
넷플릭스는 한 작품의 후보 썸네일 가운데 회원마다 한 장을 고르고, 가끔 일부러 다른 장을 섞는다. 섞지 않으면 무엇을 놓치는지는 재생 확률을 직접 정해 둔 작은 모의 계산으로 따져 보았다.
챗GPT 새 버전이 나오면 답이 더 정확해질까
챗GPT 새 버전이 나온다고 같은 질문을 늘 더 맞히지는 않았다. 같은 줄기에서 뒤에 나온 판 아홉 쌍 가운데 여섯 쌍은 정답이 줄었고, 정답 수가 같은 판 사이에서도 맞히는 질문이 바뀌었다.
AI 채점이 긴 답에 점수를 주는 이유
AI 채점관의 점수는 같은 AI에게 지시 한 줄만 바꿔 길게·짧게 쓰게 해도 크게 움직인다. 그런데 평소 판정에서 덜 이기는 모델의 답이 길면, 사람도 GPT-4도 그 긴 답을 덜 골랐다.
AI 그림 손가락은 왜 많거나 모자랄까
AI 그림의 손가락은 많게도 모자라게도 틀린다. 결함을 표시해 모은 연구들에서 가장 자주 표시된 몸 부위는 손이었고, 요즘 그림에서 줄었는지는 결함을 찾는 프로그램마다 답이 달랐다.
프롬프트 인젝션, AI 비서가 남의 지시를 따르는 이유
AI 비서는 내 부탁과 읽어 온 글을 칸막이 없이 한 줄로 받아서, 그 글 속에 남이 써 둔 지시문을 내 지시처럼 따를 수 있다. 내 자료를 읽고 남의 글을 읽고 밖으로도 보낼 수 있는 비서라면, 맡기는 범위부터 좁힌다.
스팸 메일은 왜 일부러 철자를 틀릴까
스패머는 필터가 낱말을 철자 그대로 외운다는 점을 노려 철자를 비튼다. 글자 조각으로 보는 필터는 덜 속지만, 글자 사이를 띄우면 그 이점이 사라지기도 한다.
AI 검색 답에 달린 링크, 믿어도 될까
AI 검색 답의 링크는 99% 열렸지만 답 절반 가까이는 출처로 다 뒷받침되지는 않았고, 뒷받침 안 된 주장의 대부분은 출처를 아예 안 단 답에서 나왔다.
유튜브 추천은 왜 많이 보여 준 영상을 또 띄울까
예전 추천이 남긴 기록으로 새 추천을 가르치면 그 쏠림까지 물려받는다. 기록마다 자주 띄운 만큼 무게를 덜자 쏠림은 줄었지만, 실제 서비스에서 시청 시간은 유의하게 바뀌지 않았다.
AI 단체 사진 속 같은 얼굴, 어떻게 고칠까
AI 단체 사진의 같은 얼굴을 점수로 고치려 하자, 한 장 안만 막으면 같은 얼굴이 옆 사진으로 옮겨 갔고 겹침만 벌주면 사람 수가 줄었다.
구글 지도 도착 시간은 어떻게 정할까
구글 지도는 도착 시간을 낼 때 지금 도로 속도와 오래 쌓인 과거 교통 패턴을 함께 썼다. 코로나 봉쇄 뒤 구글이 최근 2~4주를 앞세운 일을 논문 표와 장난감 계산으로 따라가 본다.
챗봇이 자기 이름을 틀리는 이유
앱 안의 GPT-4o 는 제 이름을 댔지만, 앱 밖에서 부른 겉보기엔 같은 모델은 「Claude 2.0 기반」이라고 답했다. 저자들이 공개한 답 520건을 다시 세어 챗봇이 대는 이름이 어디서 오는지 본다.
챗봇에게 증상을 물어도 병명을 놓치는 이유
GPT-4o 는 혼자 풀면 병명을 94.7% 맞혔지만, 그 챗봇과 대화한 사람의 답은 34.5% 였다. 챗봇이 말한 정답이 사람의 답에서 빠지는 틈을 공개 데이터로 다시 세었다.
챗GPT는 왜 delve 를 자주 쓸까
ChatGPT 영어에 delve 가 넘치는 까닭을 따진 연구는 학습 데이터에서 증거를 찾지 못했고, 모델을 대화용으로 다듬는 단계를 원인 후보로 남겼다.
챗GPT 단어 반복에 학습 데이터가 새어 나온 이유
ChatGPT에 poem을 끝없이 반복시키자 외운 학습 글이 기존 방식보다 150배 자주 나왔다. 막힌 것은 그 반복 주문의 꼴이었고, 개발사의 측정은 다른 것을 잰다.
AI 요약은 원문보다 결론을 넓게 말하곤 한다
논문을 AI 에게 요약시키면 연구가 「~로 나타났다」고 쓴 결론이 「~이다」처럼 더 넓은 문장으로 바뀌곤 한다. 요약 4,900건을 판정한 연구와 공개 데이터 재집계로 그 모양을 살핀다.
AI 그림 속 글자가 엉터리였던 이유
AI 그림 속 글자가 엉터리였던 원인 하나는 프롬프트를 읽는 쪽이 낱말을 통째로 받아 글자를 못 본 데 있었다. 글자를 보는 쪽을 붙이자 철자가 크게 나아졌지만, 한글은 그렇게 해도 그리지 못했다.
챗봇이 말하는 학습 날짜는 왜 어긋날까
챗봇이 말하는 학습 날짜는 회사가 밝힌 날짜와도, 사건 문제로 잰 날짜와도 어긋날 수 있다. 회사가 밝힌 날짜와 견줄 수 있는 모델 20개 가운데 14개가 더 이른 날짜를 댔다.
