RAG 란 무엇인가: 답하기 전에 찾아 읽기
RAG 는 모델이 답하기 전에 바깥 문서를 찾아와 프롬프트에 붙이는 방법이다 — 색인 시점 네 층, 질문 시점 다섯 단계, 벤더마다 다른 이름까지.
Tag
LLM
4 posts
토크나이저 — AI는 왜 글자를 못 세나
토크나이저는 글을 글자가 아니라 토큰 단위로 자른다. 그래서 AI는 단어에 든 글자를 못 세고, 같은 뜻이라도 한국어 프롬프트는 토큰을 더 쓴다.
일을 나눠 주면 빨라질 줄 알았다 — 멀티에이전트 팬아웃의 진짜 비용
멀티에이전트 팬아웃, 나누는 코드는 쉬워도 흩어진 결과를 다시 모아 판정하는 설계가 진짜 비용이다.
GraphRAG 비용은 사라지지 않는다 — 인덱싱에서 질의로 자리를 옮길 뿐
벤더의 '인덱싱 비용 1000배 절감' 헤드라인, 출처를 열면 baseline이 없다. 실측 $5~$120과 비용이 옮겨가는 자리를 해부한다.