자연어 데이터 분석, 데모와 실서비스를 가르는 건 시맨틱 레이어였다
자연어 데이터 분석이 데모에서 멈추느냐 실서비스로 굴러가느냐는 시맨틱 레이어를 중심으로 한 네 부품에서 갈린다.
Category
AI 해부
11 posts
토크나이저 — AI는 왜 글자를 못 세나
토크나이저는 글을 글자가 아니라 토큰 단위로 자른다. 그래서 AI는 단어에 든 글자를 못 세고, 같은 뜻이라도 한국어 프롬프트는 토큰을 더 쓴다.
컨텍스트 창 100만 토큰 시대, RAG는 언제 이기고 언제 지는가
컨텍스트 창이 커져도 모델은 다 못 읽는다 — NoLiMa·OP-RAG·CAG 세 실측으로 RAG의 경계선을 그린다.
late interaction — 한 문서에 주제가 32개면 단일 벡터의 유사도가 5.7배 줄어든다
문서를 벡터 하나로 압축할 때 잃는 양을 1/√k로 계산하고, late interaction이 그 손실을 저장 비용과 맞바꾸는 원리를 짚는다.
LLM 인용 검증: 각주 개수를 세지 말고 출처를 문장과 맞춰 봐야 한다
STORM으로 쓴 위키 문서는 구성 점수가 크게 올랐는데도 출처를 확인한 점수는 그대로였다. LLM 인용 검증을 STORM과 ALCE 수치로 어떻게 재는지 이 글에서 확인한다.
LLM 위키 — AI가 쓰고 가꾸는 지식층은 실제로 어떻게 작동하는가
LLM이 직접 쓰고 가꾸는 지식층(LLM 위키)이 작성·유지·연결에서 실제로 어떻게 작동하는지 뜯어보고, 지식그래프와 어디서 만나는지까지 확인한다.
일을 나눠 주면 빨라질 줄 알았다 — 멀티에이전트 팬아웃의 진짜 비용
멀티에이전트 팬아웃, 나누는 코드는 쉬워도 흩어진 결과를 다시 모아 판정하는 설계가 진짜 비용이다.
LLM 에이전트 지식 저장소, DB보다 파일이 먼저인 이유
에이전트 지식 저장소는 강점이 아니라 순서의 문제다. 시작 레짐엔 파일·Git이 정본이고, DB는 신호가 켜질 때 얹는 파생물이다.
짧은 CLAUDE.md가 더 강한 에이전트를 만든다 — 프로젝트 메모리 3층 설계
CLAUDE.md를 헌법·법률·시행령 3층으로 나누면, 짧아진 헌법이 오히려 더 잘 지켜진다.
RAG 벤치마크 점수, 누가 채점했나 — 벤더 성적표를 읽는 눈
RAG 벤치마크의 자랑 수치는 대부분 자기 채점이다 — 채점자를 물으면 그 우위는 무너지거나 뒤집힌다.