【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]노타, 멀티모달 AI GPU 메모리 47% 줄였다…성능은 98% 유지

온카뱅크관리자

2026-10-01 10:57:25

<div id="layerTranslateNotice" style="display:none;"></div> NeurIPS 2026 메인트랙에 최적화 논문 채택 310억 파라미터 모델 메모리 58GB→31GB 전문가 모듈 25% 제거해도 원본 성능 98% 추가 학습 없이 경량화…넷츠프레소 적용 확대 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="VHOsk3aers">
 [이데일리 이소현 기자] 노타가 멀티모달 인공지능(AI) 모델의 성능을 대부분 유지하면서 그래픽처리장치(GPU) 메모리 사용량을 절반 가까이 줄이는 최적화 기술을 개발했다. 약 310억 파라미터 규모 모델에서 GPU 메모리 사용량을 58GB에서 31GB로 낮춰 40GB급 GPU 한 장에서도 구동할 수 있도록 한 것이 핵심이다.
 <figure class="figure_frm origin_fig" contents-hash="d232e4e2a260292b1df59ce02d8d7827a12ff787484e144fdbd7e198faab9d5d" dmcf-pid="4ZCIDpjJsr" dmcf-ptype="figure">
 <img alt="노타, 멀티모달 AI GPU 메모리 47% 줄였다…성능은 98% 유지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/01/Edaily/20261001104703759zhjx.jpg" data-org-width="1280" dmcf-mid="2QoLRS6bOO" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/01/Edaily/20261001104703759zhjx.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 노타, 멀티모달 AI GPU 메모리 47% 줄였다…성능은 98% 유지
 </figcaption>
 </figure>
 <div contents-hash="bdf2f0e64aca7bc63e273188f7e640949e8a91f1f18cc92f8e7c7d159cac0192" dmcf-pid="85hCwUAirw" dmcf-ptype="general">
 노타는 멀티모달 AI 모델의 성능 저하를 최소화하면서 GPU 메모리 사용량을 줄이는 연구 논문이 세계적인 AI 학술대회 ‘뉴립스 2026(NeurIPS 2026)’ 메인트랙에 채택됐다고 1일 밝혔다.
 </div>
 논문명은 ‘Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models’다.
 이번 연구는 텍스트와 이미지 등 여러 형태의 정보를 함께 처리하는 멀티모달 AI에 맞춰 ‘전문가 프루닝(Expert Pruning)’ 기술을 고도화한 것이 특징이다.
 전문가 25% 줄여도 성능 98% 유지
 전문가 혼합(MoE·Mixture of Experts) 모델은 여러 전문가 모듈 가운데 입력에 필요한 일부만 선택해 연산하는 구조다.
 실제 연산에는 일부 전문가만 참여하지만 전체 전문가 모듈을 GPU 메모리에 저장해야 해 모델 규모가 커질수록 메모리 부담이 커진다.
 전문가 프루닝은 중요도가 상대적으로 낮은 전문가 모듈을 제거해 이 부담을 줄이는 기술이다.
 노타의 성능 평가 결과 약 310억 파라미터 규모 멀티모달 모델에서 전문가 모듈의 25%를 제거했을 때 원본 모델 성능의 98%를 유지했다.
 전문가 모듈을 절반인 50%까지 제거했을 때도 원본 성능의 91%를 유지했다.
 GPU 메모리 사용량은 58GB에서 31GB로 약 47% 감소했다. 이에 따라 40GB 메모리를 갖춘 GPU 한 장에서도 해당 모델을 구동할 수 있는 수준을 확보했다.
 텍스트·이미지 중요도 따로 평가
 기존 언어모델용 프루닝 기술을 멀티모달 모델에 그대로 적용하면 이미지 이해에 필요한 전문가까지 제거돼 성능이 크게 떨어질 수 있다.
 실제 연구에서도 차트 이해처럼 이미지 정보가 중요한 과제에서는 기존 방식 적용 시 성능 저하가 나타났다.
 노타는 이를 해결하기 위해 텍스트와 이미지 각각에 대해 전문가 모듈의 중요도를 따로 평가했다.
 텍스트 기준 중요도는 유지할 전문가를 고르는 데 활용하고, 이미지 기준 중요도는 제거할 전문가를 선정하는 데 활용해 두 능력을 균형 있게 보존하도록 설계했다.
 또 각 모델 층에서 동일한 수의 전문가를 일괄 제거하는 대신 모델 전체 전문가를 비교해 중요도가 높은 층의 전문가가 우선 유지되도록 했다.
 추가 학습 없이 한 번에 압축
 추가 학습 없이 한 번의 압축 과정만으로 경량화할 수 있다는 점도 특징이다.
 사용자가 전문가 제거 비율만 설정하면 적용할 수 있어 새로운 파운데이션 모델이 등장하더라도 별도의 재학습 없이 빠르게 대응할 수 있다.
 노타는 이번 기술을 자사 AI 최적화 플랫폼 ‘넷츠프레소(NetsPresso)’에 반영해 멀티모달 및 MoE 모델 지원 범위를 확대할 계획이다.
 텍스트 전용 대규모언어모델(LLM)뿐 아니라 이미지와 언어를 함께 처리하는 비전언어모델(VLM)까지 최적화 대상도 넓힌다.
 향후에는 입력 정보별 전문가 중요도를 평가하는 원리를 영상과 음성 등 다른 멀티모달 영역으로 확장할 계획이다.
 노타는 앞서 ‘키미 K3’와 ‘솔라 오픈 2’ 등 초거대 모델에도 전문가 프루닝을 적용해 최적화 경험을 축적했다.
 올해에는 ICLR와 EMNLP, ICML에 이어 NeurIPS에서도 연구 성과를 인정받았다고 회사 측은 설명했다.
 채명수 노타 대표는 “AI 모델이 텍스트 중심 LLM에서 이미지와 영상, 음성을 함께 이해하는 멀티모달 AI로 발전하면서 모델 규모와 GPU 메모리 부담도 빠르게 커지고 있다”며 “이번 연구는 모델 성능을 유지하면서 필요한 컴퓨팅 자원을 크게 줄일 수 있다는 점에서 실제 AI 인프라 운영 효율을 높이는 데 의미가 크다”고 말했다.
 이소현 (atoz@edaily.co.kr) 
 </section> 
 </div> 
 Copyright © 이데일리. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기