AI 해부 토크나이저 — AI는 왜 글자를 못 세나 토크나이저는 글을 글자가 아니라 토큰 단위로 자른다. 그래서 AI는 단어에 든 글자를 못 세고, 같은 뜻이라도 한국어 프롬프트는 토큰을 더 쓴다. 2026년 8월 18일 2 min read