【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]“새 GPU 안 사도 된다”…노타, 초거대 AI 경량화

온카뱅크관리자

2026-11-11 00:07:25

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">전문가 모듈 최대 37% 축소…메모리 요구량 낮춰<br>과학 추론 평가서 원본 점수 99% 이상 유지<br>자체 견적 기준 클라우드 임대료도 최대 22%↓</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="2k2nfdAira">
          <p contents-hash="4e6a11676a2744a7ff82e05b0fdc4163d453a7cf0e85c1df1c0ef573e248f042" dmcf-pid="VEVL4JcnOg" dmcf-ptype="general"> [이데일리 신영빈 기자] 노타가 초거대 인공지능(AI) 모델을 경량화해 상대적으로 저렴한 GPU에서도 실행할 수 있도록 했다. 최신 GPU를 새로 확보해야 하는 부담을 줄이고 기존 인프라의 활용도를 높인다는 취지다.</p>
          <p contents-hash="c425082c6b51d28a06e8f135ff40056c12cf87b2d54300120d1a37c83943d50d" dmcf-pid="fDfo8ikLwo" dmcf-ptype="general">노타는 문샷AI의 ‘키미 K3.1 프로’를 최적화해 엔비디아 B300 GPU 8장이 필요했던 모델을 B200 GPU 8장에서도 실행할 수 있도록 했다고 10일 밝혔다.</p>
          <figure class="figure_frm origin_fig" contents-hash="97b500fb79af4858589e531a2e82e93a31aa20f87e040dd39d05cbac2e4ffd3d" dmcf-pid="4w4g6nEoIL" dmcf-ptype="figure">
           <p class="link_figure"><img alt="키미 K3.1 Pro 최적화 전후 GPU 비용 비교 (사진=노타)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/11/Edaily/20261111000031492lqnz.jpg" data-org-width="1280" dmcf-mid="93sZIGpXEN" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/11/Edaily/20261111000031492lqnz.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            키미 K3.1 Pro 최적화 전후 GPU 비용 비교 (사진=노타)
           </figcaption>
          </figure>
          <div contents-hash="2471cb6f023218b1f4f1ca4008b38b19fb67b55e5a5a6ebbeede10f84f959f24" dmcf-pid="8r8aPLDgEn" dmcf-ptype="general">
           회사 자체 견적 비교에 따르면 B300 대신 B200을 선택할 경우 GPU 구매비용은 최대 약 20%, 클라우드 GPU 임대료는 최대 약 22% 낮아진다. 기업은 보유한 B200 인프라를 활용하거나 신규 도입 시 비용이 낮은 구성을 선택할 수 있다.
          </div>
          <p contents-hash="4746701e0c63c98c998be5d9bbc39f78570ed578d59bf2703c8e183069dd60da" dmcf-pid="6AKJ2RNdmi" dmcf-ptype="general">키미 K3.1 프로는 2조8000억개의 매개변수를 갖춘 초거대 AI 모델이다. 모델 규모가 큰 만큼 실행에 필요한 메모리 용량과 GPU 확보가 주요 과제로 꼽힌다.</p>
          <p contents-hash="e3d732630b560439d241a5a09dd92a6ea6cab9b827ed580c3f7df1a995deaf64" dmcf-pid="Pc9iVejJrJ" dmcf-ptype="general">노타는 모델 내부의 전문가 모듈을 선별적으로 제거하는 ‘프루닝’ 기술을 적용했다. 전문가 모듈을 최대 37% 줄여 메모리 요구량을 낮추면서도, 고난도 과학 추론 평가인 ‘GPQA 다이아몬드’에서 원본 모델 점수의 99% 이상을 유지했다고 설명했다.</p>
          <p contents-hash="48e5af368033147f40ab8002cd9e2bf71f6e11a64c6b36296fad2ece6e9f7f3f" dmcf-pid="Qk2nfdAiwd" dmcf-ptype="general">경량화로 확보한 메모리 여유 공간은 긴 문맥 처리에도 활용했다. B200 GPU 8장 환경에서 전문가 모듈을 30% 줄인 모델은 최대 51만2000토큰, 37% 줄인 모델은 최대 100만토큰의 문맥을 처리한다. 토큰은 AI가 글과 코드를 처리하는 단위로, 처리 가능한 문맥이 길수록 한 번에 더 많은 정보를 참고할 수 있다.</p>
          <p contents-hash="d26bf53faa78cabe57c9b5b6792df9ba275fdb733d7cfeddfa1b5db89807cd86" dmcf-pid="xEVL4JcnEe" dmcf-ptype="general">답변 생성 속도를 높이는 ‘추측 디코딩’도 지원한다. 작은 보조 모델이 다음에 나올 내용을 미리 제안하면 본 모델이 이를 한 번에 검증하는 방식이다. 노타는 줄어든 메모리 사용량을 활용해 보조 모델을 함께 실행하도록 했다.</p>
          <p contents-hash="79e70569e5899117c42c7879dc9617ed1551b21e5d838af12d8aeec285ebcd8d" dmcf-pid="yzI1hXu5ER" dmcf-ptype="general">이번 성과는 앞서 공개한 키미 K3 경량화의 후속 사례다. 노타는 당시 모델 실행에 필요한 B300 GPU를 8장에서 최대 4장으로 줄였다. 이번에는 후속 모델의 하드웨어 요구 사양을 낮춰 기업이 선택할 수 있는 GPU 구성을 넓혔다.</p>
          <p contents-hash="bfcfa0351738ea5a051d1dbf72dfff736040fd960818a29550d4b6d923cad49f" dmcf-pid="WqCtlZ71sM" dmcf-ptype="general">노타는 한정된 컴퓨팅 자원으로 고성능 AI 모델을 활용하려는 기업과 개발자를 대상으로 최적화 소프트웨어 사업을 확대할 계획이다. 경량화한 키미 K3.1 프로 모델은 AI 플랫폼 허깅페이스에 공개했다.</p>
          <p contents-hash="b4d6106faa108c179fb568db35160fa35ba25e73b61f54b440753ff08b5a3c3c" dmcf-pid="YBhFS5ztIx" dmcf-ptype="general">채명수 노타 대표는 “이번 성과는 초거대 AI 모델의 주요 추론 성능을 유지하면서 하드웨어 요구 조건을 낮춰 AI 도입의 경제성을 개선할 수 있음을 보여준다”며 “기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다”고 말했다.</p>
          <p contents-hash="8d72a86afb096084d0b1f09fe3ad0f981cbd0479a43396055f0a8bcecdc22de4" dmcf-pid="Gbl3v1qFwQ" dmcf-ptype="general">신영빈 (burger@edaily.co.kr) </p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기