【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스][AI와 토큰]①AI가 생각할 때마다 돈이 나간다

온카뱅크관리자

2026-06-26 07:47:29

<div id="layerTranslateNotice" style="display:none;"></div> AI가 생각하는 쪼개진 단위가 '토큰' 한국어 모델 필요성↑…'독파모' 주목 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="K4kJ4UfzCi">
 <blockquote class="pretip_frm" contents-hash="893073eea18d60cfa6d717b8726722378646c239012f1352717e940048037f81" dmcf-pid="98Ei8u4qCJ" dmcf-ptype="pre">
 인공지능(AI)의 급속한 발달로 토큰(Token) 소비량이 폭발적으로 증가하고 있다. 이에 따라 토큰을 생성하는 AI 인프라와 토큰을 소비하는 매개체인 AI 모델을 중심으로 한 이른바 '토크노믹스(Tokenomics·토큰 경제)'도 형성되고 있다. AI 시대를 살아가기 위해 알아야할 토큰의 개념을 살펴보고 효율적인 토큰 소비 방향을 살펴봤다. [편집자] 
 </blockquote>
 #앤트로픽의 인공지능(AI) 모델인 '클로드 소넷 4.6'을 쓰고 있는 직장인 A씨는 '바이브 코딩'에 푹 빠졌다. 자연어로 명령만 내리면 복잡한 코드를 뚝딱 짜내 신기하면서도, AI가 중간중간 '생각(Reasoning)'을 할 때마다 토큰 소비량이 가파르게 치솟는 것을 보며 의문이 생겼다. AI를 쓰면 토큰이 소비된다는 건 알겠는데 정확히 토큰이 무엇이고 어떻게 소비되는지는 궁금해진 것이다.
 사소한 질문 하나를 던질 때도 우리는 알게 모르게 토큰을 소비하고 있다. 특히 AI의 무게중심이 단순한 질의응답 수준을 넘어 이용자의 일상과 업무를 대행하는 에이전트 AI로 빠르게 이동하면서 연산 단위인 토큰의 소비량 역시 급증하는 추세다. AI를 효율적으로 다루려면 토큰에 대한 이해가 필수적이다. 비용과 직결되기 때문이다.
 <figure class="figure_frm origin_fig" contents-hash="736bb975ce105e400ae8e03cf251105c133b69b2f6ff43c1ad93a9662bf3db28" dmcf-pid="fQroQqPKvR" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/26/BUSINESSWATCH/20260626074147711djlw.jpg" data-org-width="645" dmcf-mid="bG93WryOyn" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/26/BUSINESSWATCH/20260626074147711djlw.jpg" width="658">
 </figure>
 AI는 무엇으로 생각할까
 거대언어모델(LLM)이 이용자들의 질문이나 요청에 답하기 위해 정보를 잘게 쪼개어 인식하는 최소 단위를 토큰이라고 한다. 사람이 글을 읽을 때 단어와 문맥 중심으로 파악하듯 AI는 입력된 문장을 토큰 단위로 분해해 처리하고 추론한다. 챗GPT(오픈AI), 제미나이(구글), 클로드(앤트로픽) 등 글로벌 주요 AI 모델은 토큰을 연산 및 과금 단위로 사용한다.
 AI가 수행해야 하는 연산의 난이도가 높아질수록 토큰 소비량은 기하급수적으로 늘어난다. 이는 인간의 사고 과정과도 닮아있다.
 가령 "오늘 날씨 어때?"라는 질문을 받으면 창밖을 보거나 현재 체감하는 기온을 바탕으로 "흐려" 혹은 "더워"라고 짧게 답할 수 있다. AI 역시 간단한 데이터 검색만으로 처리할 수 있어 토큰 소모가 적다.
 반면 "기후 변화로 우리나라(한국) 날씨가 변한 이유를 설명해달라"는 질문은 차원이 다르다. 단순히 오늘 날씨를 묻는 질문보다 더 많은 정보를 탐색·학습하고 추론해야 해 훨씬 더 많은 토큰을 소비하게 된다.
 특히 AI를 업무용으로 활용하는 에이전트 AI의 확산은 토큰 소비의 폭발적 증가를 견인하고 있다. AI 모델 연동 플랫폼인 오픈라우터에 따르면 올해 1월 기준 주당 약 2000억 토큰이던 글로벌 토큰 사용량은 에이전트 AI 시대가 본격적으로 열리면서 6월 들어 6000억 토큰으로 3배 가량 급증(MacroMicro 집계 기준)했다. 
 영어로 학습한 AI, 한국에선?
 흥미로운 점은 언어에 따라서도 토큰 소모량이 다르다는 사실이다. 같은 내용의 질문을 던져도 영어로 물어볼 때보다 한국어로 물어볼 때 더 많은 토큰이 소비된다. 
 그 원인은 AI가 텍스트를 토큰으로 조각내는 도구인 '토크나이저(tokenizer)'의 특성에 있다. 현재 글로벌 주요 AI는 영어 중심으로 훈련돼있다. 영어는 익숙한 패턴으로 묶어 통으로 인식하는 반면 한국어는 훨씬 더 잘게 쪼갠다. 예를 들어 영어의 'hello'는 1토큰으로 처리되지만 '안녕하세요'는 모델에 따라 3~5개의 토큰으로 분해된다.
 또 한국어는 자음과 모음을 조합해 한 음절을 만들고, 조사와 어미가 붙어 단어나 문장이 완성된다. AI가 이를 쪼개 인식해야 하는 만큼 더 많은 토큰을 소비하는 구조다. 똑같은 정보량을 전달하더라도 한국어 사용자의 비용부담이 더 클 수 있다는 의미다.
 이런 이유로 현재 정부가 추진하고 있는 '독자 AI 파운데이션 모델' 프로젝트의 중요성이 커질 전망이다. 현재 독파모에 참여한 기업들은 한국어로 학습해 한국어 맥락을 잘 이해하는 AI 모델을 만들고 있다.
 업계 관계자는 "외산 모델에 한국어 프롬프트(질문이나 문장)를 넣으면 AI가 정확히 이해하지 못하는 경우가 있다. 국내 사용자들에게는 한국어 토크나이저를 갖춘 모델이 비용과 성능 면에서 더 효율적일 수 있다"고 말했다.
 노명현 (kidman04@bizwatch.co.kr)
 ⓒ비즈니스워치의 소중한 저작물입니다. 무단전재와 재배포를 금합니다.
 </section> 
 </div> 
 Copyright © 비즈워치. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기