AI 서비스에서 말하는 토큰은 글자나 단어 조각 단위로 사용량을 계산하는 방식이라 일반 사용자에게는 직관적으로 이해하기 어려운 개념입니다 그래서 많은 사람들이 질문 횟수나 대화 횟수처럼 더 쉽게 체감할 수 있는 단위로 표시되기를 원하기도 합니다. 다만 토큰 방식은 질문 길이와 답변 길이까지 포함해 실제 계산 자원을 더 정확하게 반영할 수 있다는 이유로 사용되고 있습니다.
보통 AI에서 말하는 토큰이라는 글자는 일반 사용자에게는 조금 낮설 수 있습니다. 토큰이라는 것은 글자를 일정 단위로 잘라서 계산하는 방식으로 볼 수 있는데, 보통은 한국어 기준으로 한두 줄 정도가 수십 토큰 정도라고 합니다. 질문수도 영향을 미치겠지만, 질문 길이에 따라서 영향을 미치게 되겠죠.
클로드 AI 홈페이지를 참조해보니 최근 모델 기준으로 한 번에 처리 가능한 분량이 보통은 20만 토큰 정도라고 합니다. 이게 대략적으로 책 한 권 수준으로 볼 수 있습니다. 질문의 길이에 따라서 짧으면 수십 번도 가능하곘지만, 긴 문서나 코드 붙여넣기 등의 업무를 하신다면 금방 찰 수도 있을 것 같네요.