【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스][AAI 2026] "GPU 유휴 시간 제로화"…망고부스트, 풀스케일 AI 데이터센터 인프라 출격

온카뱅크관리자

2026-07-23 14:17:33

<div id="layerTranslateNotice" style="display:none;"></div> AMD MI355X에 망고부스트 SW 적용 시 엔비디아 B300 대비 처리량 1.25배·지연시간 5.1배 단축 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="5lCn4LiPCr">
 데이터 이동 병목 잡는 DPU 기반 기술서 출발…'AI 에이전트 OS'로 풀스택 확장
 AMD 가성비에 SW 날개 더해 온프레미스 AI 혁신
 최의남 부장, 고성능·저비용 온프레미스 구축 대안 제시
 <div contents-hash="b142ba65346ca89120524e68ce9e3a769012ac17c0d6094600794b1ab36bbb04" dmcf-pid="3q7vETSrhk" dmcf-ptype="general">
 AMD 파트너십 바탕으로 글로벌 고투마켓 본격 가속화
 </div>
 <figure class="figure_frm origin_fig" contents-hash="b5ab2fdbd15a371ad466f9706671ed8ae238d6061529370ac7a552efa10bef88" dmcf-pid="0BzTDyvmyc" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/23/552796-pzfp7fF/20260723141055015umxq.jpg" data-org-width="640" dmcf-mid="ZtZwnrDgWm" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/23/552796-pzfp7fF/20260723141055015umxq.jpg" width="658">
 </figure>
 [샌프란시스코(미국)=디지털데일리 김문기기자] 인공지능(AI) 모델이 단순 질의응답을 넘어 사용자의 복잡한 명령을 스스로 판단하고 수행하는 '에이전틱 AI(Agentic AI)' 시대로 접어들면서, 데이터센터 내부에서 GPU가 연산을 멈추고 쉬는 '유휴 시간'을 줄이는 시스템 최적화가 핵심 과제로 부상했다.
 아무리 성능이 뛰어난 GPU를 배치하더라도 네트워킹과 CPU, 스토리지 간 상호작용에서 병목이 생기면 시간당 토큰 생성 수치가 떨어지기 떄문이다.
 22일(현지시각) 미국 샌프란시스코 모스콘 웨스트에서 열린 AMD의 연례 플래그십 컨퍼런스 '어드벤싱 AI(Advancing AI) 2026' 전시장에는 글로벌 빅테크 기업들의 부스 사이에서 유독 관람객들의 발길이 끊이지 않는 한국 시스템 반도체 스타트업이 눈길을 사로잡았다. 서울대학교 전기·정보공학부 김장우 교수가 2022년 창업한 DPU 및 데이터센터 가속 솔루션 전문 기업 '망고부스트(MangoBoost)'다.
 망고부스트 현장 부스에서 만난 최의남 망고부스트 부장은 관람객들에게 AMD GPU와 망고부스트의 최적화 소프트웨어가 결합돼 엔비디아 최신 가속기를 뛰어넘는 실측 벤치마크 데이터를 설명하느라 분주한 모습이었다.
 ◆ AMD MI355X에 망고부스트 SW 결합…엔비디아 B300 대비 처리량 1.25배·지연시간 5.1배 우위
 망고부스트 부스 전면에 내걸린 시연 차트는 전시장을 찾은 글로벌 데이터센터 엔지니어들의 감탄을 자아냈다. 망고부스트의 'LLM부스트' 소프트웨어 스택을 AMD의 최신 가속기 '인스팅트 MI355X'에 적용해 구동한 결과, 경쟁사인 엔비디아의 차세대 가속기 '블랙웰 B300'을 넘어서는 추론 성능을 입증해주고 있다.
 최신 거대언어모델인 GLM-5/5.1(FP8) 기준 벤치마크 평가에서 '망고부스트 SW + AMD MI355X' 조합은 동일한 지연시간 조건에서 엔비디아 B300 대비 1.25배 높은 토큰 처리량을 기록했다. 특히 종단 간 지연시간 측면에서는 엔비디아 B300이 142초를 기록한 반면, 망고부스트 적용 MI355X는 28초에 불과해 무려 5.1배 빠른 응답 속도를 증명했다.
 추론 전문 모델인 '딥시크-R1(DeepSeek-R1)' 벤치마크 수치 역시 돋보인다. 기존 엔비디아 H100s 클러스터 대비 5.8배 높은 처리량과 2.05배 낮은 지연시간을 달성하며, AMD GPU의 잠재력을 극대화하는 소프트웨어 연동 기술력을 입증해 냈다.
 최의남 부장은 "망고부스트는 DPU 개발로 출발해 GPU 간 초고속 네트워킹과 HBM 메모리 공유 기술을 구축해 왔다"며 "최근에는 그 위에 'AI 에이전트 OS' 및 소프트웨어 최적화 스택을 탑재해, LLM 연산 과정에서 GPU가 놀고 있는 병목 구간을 완벽히 제거하는 기술을 구현했다"고 설명했다.
 ◆ "클라우드 토큰 비용 부담 폭발…AMD 가성비와 결합해 온프레미스 대안 제시"
 최 부장은 최근 에이전틱 AI 확산에 따른 기업들의 인프라 고충과 망고부스트가 제시하는 해결책을 구체적으로 피력했다.
 최 부장은 "최근 AI 발전 방향이 단순히 모델을 학습시키는 트레이닝을 넘어, 수많은 사용자가 실시간으로 응답을 주고받는 추론과 에이전트 실행 영역으로 옮겨갔다"며 "에이전트 AI는 컴퓨터의 파워포인트를 구동하거나 프로그래밍 툴을 연동하는 등 복잡한 과정을 거치기 때문에 중간중간 엄청난 시스템 비효율이 발생한다"고 지적했다.
 이어 "미국 시장에서는 AI 개발자가 많은 기업의 경우 1인당 한 달 클라우드 API 사용료로만 1만6000달러(약 2200만원)를 지출할 정도로 비용 부담이 폭발하고 있다"며 "기업 입장에서 천문학적인 토큰 비용을 감당하는 대신, AMD GPU의 뛰어난 연산력과 대용량 HBM 메모리 호환성에 망고부스트 솔루션을 결합해 자체 온프레미스 AI 데이터센터를 구축하는 것이 데이터 보안과 TCO 절감 측면에서 훨씬 유리하다"고 강조했다.
 망고부스트가 이번 AMD 어드벤싱 AI 2026 행사에 공식 출품하게 된 계기도 이러한 기술적 시너지 덕분이다. AMD 펠로우 디렉터를 비롯한 AMD 엔지니어링 팀과 수개월간 프로젝트를 진행하며 MLPerf 등 글로벌 벤치마크에서 뛰어난 성과를 거두자, AMD 측에서 직접 연례 최대 이벤트의 부스 참가를 요청해 온 것이다.
 망고부스트는 이번 행사에서 단순 칩셋 가속을 넘어 ▲DC 코파일럿 ▲AI 에이전트 OS ▲알폰소 컴퓨트 노드 ▲케사르 스토리지 시스템으로 이어지는 '풀스케일 망고부스트 AI 데이터센터 인프라(Full-Scale MangoBoost AI DC Infrastructure)' 풀스택을 전격 제안했다.
 최 부장은 "AMD는 컴퓨팅 성능이 매우 뛰어날 뿐만 아니라 마진을 합리적으로 가져가 가격 경쟁력이 뛰어나고 지원도 적극적이다"라며 "망고부스트는 AMD의 강력한 하드웨어 생태계 안에서 성능을 극대화하는 최고의 보완재로서, 글로벌 시장을 향한 고투마켓 행보를 가속화할 것"이라고 자신감을 드러냈다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기