【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]UNIST, AI ‘전문가 공유’ 기술 개발…언어모델 크기 63% 줄였다

온카뱅크관리자

2026-08-10 08:47:32

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">각 신경망 층에 공용 모듈 적용해 매개변수 중복 최소화<br>이전 선택 점수 넘겨받아 특정 경로 쏠림 현상도 해결<br>성능은 기존 수준 유지…온디바이스 AI 등 적용 기대</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="p3XN0vTsSC">
          <figure class="figure_frm origin_fig" contents-hash="db09255c0073e8a7084a5a883698094ef61f963cb0cfaa5cb459de978097cfa7" dmcf-pid="U0ZjpTyOyI" dmcf-ptype="figure">
           <p class="link_figure"><img alt="모든 신경망층이 함께 쓰는 공용 전문가와 해당 층에만 있는 전용 전문가를 혼합하는 기술의 모식도. 연구그림=UNIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/10/seouleconomy/20260810084129515gwzd.png" data-org-width="1200" dmcf-mid="0zleGrmjhh" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/10/seouleconomy/20260810084129515gwzd.png" width="658"></p>
           <figcaption class="txt_caption default_figure">
            모든 신경망층이 함께 쓰는 공용 전문가와 해당 층에만 있는 전용 전문가를 혼합하는 기술의 모식도. 연구그림=UNIST
           </figcaption>
          </figure>
          <p contents-hash="42c6097d8a0020267a8bd15c919aca2e289556cbba13040fe2f7315ab2d93bfb" dmcf-pid="u7FEzGHlvO" dmcf-ptype="general">챗GPT 등 대형언어모델(LLM)의 효율을 높이는 새로운 신경망 구조가 나왔다. 매개변수(파라미터)를 대폭 줄이면서 성능은 그대로 유지한다.</p>
          <p contents-hash="605a5d36e49ef248faceb5a21aaf65df9cfca0476094b8288a130b1d0a205e5e" dmcf-pid="7z3DqHXSys" dmcf-ptype="general">울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 여러 신경망 층이 인공지능 모듈을 공유하는 새로운 전문가 혼합 구조 ‘GMoE(Global Mixture of Experts)’를 개발했다고 10일 밝혔다. 기존 언어모델의 메모리 부족과 연산 비효율을 동시에 해결한 기술이다.</p>
          <p contents-hash="730478f1df6b4b34142b451e61ef3941d0f6718db8650be4cc7664439aca3795" dmcf-pid="zq0wBXZvhm" dmcf-ptype="general">대형언어모델은 여러 전문가 모듈 중 일부만 골라 쓰는 ‘전문가 혼합(MoE)’ 방식을 주로 쓴다. 기존 모델은 각 신경망 층마다 별도의 전문가 집단을 뒀다. 층이 깊어질수록 매개변수가 기하급수적으로 늘어났다. 비슷한 기능이 중복되는 문제도 컸다.</p>
          <p contents-hash="dd27b9e2dd568b7c77653e038759049eaf191e8035d89afc0f50dc4d0b7d0b59" dmcf-pid="qBprbZ5Tvr" dmcf-ptype="general">연구팀은 ‘공유’로 문제를 풀었다. GMoE는 모든 신경망 층이 함께 쓰는 ‘공용 전문가’와 각 층에 하나씩 두는 ‘전용 전문가’로 구성된다. 가령 100개 층에 전문가를 1000명씩 두면 총 10만 명이 필요하다. 반면 GMoE는 각 층 전용 전문가 100명에 공용 전문가 1000명만 추가해 1100명으로 전체 구조를 짠다. 모델 크기와 필요 메모리가 크게 줄어든다.</p>
          <p contents-hash="2fb88e9e443612d70e7b3627672f39fab43d270ec6d0f1999a0ff1f8d18a13e3" dmcf-pid="BbUmK51yyw" dmcf-ptype="general">실제 성능 평가에서도 효율이 입증됐다. 연구팀은 독해, 문법, 상식 추론 등 7개 분야를 시험했다. 중간 크기 모델 기준 매개변수를 5억 4900만 개에서 2억 400만 개로 약 63% 줄였다. 평균 정답률은 39.51%를 기록했다. 매개변수가 2.5배가량 많은 기존 모델(39.55%)과 맞먹는 수치다.</p>
          <p contents-hash="1049bf10c8b7a3875713565efd6fc9d367661e64778bdac5523d3e3691648d57" dmcf-pid="bKus91tWWD" dmcf-ptype="general">입력값이 특정 전문가에게만 쏠리는 고질적 문제도 해결했다. GMoE는 앞선 층의 라우터 계산 점수를 다음 층으로 넘긴다. 이전 선택을 참고해 전문가를 고르게 분배한다. 그 결과 기존 방식보다 3배 이상 많은 8만 1561개의 경로를 활용했다. 가장 많이 쓰인 단일 경로 쏠림 비중도 기존 25.65∼45.55%에서 11.15%로 떨어졌다. 제한된 용량을 구석구석 알차게 활용한다는 의미다.</p>
          <p contents-hash="47ee3283dfd913658168fc91578186c402d465f69cd1176445839f471a01e1fc" dmcf-pid="K97O2tFYSE" dmcf-ptype="general">이번 연구는 홍건우 석사과정생이 제1저자로 참여했다. 연구 성과는 자연어 처리 분야 최고 권위 국제학회인 ‘ACL 2026’에 게재됐다. 관련 코드는 깃허브 프로젝트 페이지에 공개했다.</p>
          <p contents-hash="340cc40a86962019d06985c93702cbf205f6b9e835101b84c4b1568af68fb16b" dmcf-pid="92zIVF3Glk" dmcf-ptype="general">김태환 교수는 “기존 전문가 혼합 모델은 서로 다른 신경망 층이 비슷한 기능을 반복해서 학습하고, 각 층 안에서도 일부 전문가만 주로 활용되는 ‘복합 중복성’ 문제가 있었다”며 “이번 연구는 이러한 문제를 하나의 구조 안에서 함께 완화하는 새로운 아키텍처를 제시한 연구”라고 설명했다. 이어 “대형 언어모델이 더 적은 매개변수로도 다양한 전문가 조합을 활용하고, 같은 크기에서도 더 많은 방식으로 입력을 처리하는 데 기여할 것”이라고 말했다.</p>
          <p contents-hash="0f04b8e5b0e8db89803666d79b31723132dfc7b979795cbacf3aad68aed9a13f" dmcf-pid="2VqCf30Hlc" dmcf-ptype="general">울산=장지승 기자 jjs@sedaily.com</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기