【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI 병목, 칩에서 에이전트까지… 韓 CTO들 “추론 최적화, 전 구간 연결해야”

온카뱅크관리자

2026-09-29 16:27:25

<div id="layerTranslateNotice" style="display:none;"></div> 데이터·메모리·인프라 곳곳서 병목…한 구간 최적화만으론 한계 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="YSfwGpjJCu">
 <figure class="figure_frm origin_fig" contents-hash="b8e8bdaf62de9dc2b44d4a16e782ce65a2049ba91e99f94672c97bc9821e7e59" dmcf-pid="Gv4rHUAiWU" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/29/552796-pzfp7fF/20260929162353578fznp.jpg" data-org-width="640" dmcf-mid="Wf1REl8Bl7" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/29/552796-pzfp7fF/20260929162353578fznp.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] 인공지능(AI) 경쟁의 무게중심이 모델 성능을 넘어 실제 서비스에서 얼마나 빠르고 저렴하게 추론하느냐로 옮겨가면서 기술 병목도 복잡해지고 있다. 반도체와 메모리부터 학습 데이터, 인프라 운영, AI 에이전트까지 어느 한 구간만 개선해서는 전체 효율을 끌어올리기 어렵다는 진단이다.
 29일 서울 코엑스에서 열린 ‘래블업 콘퍼런스 2026’ 패널 토론에는 노정석 비팩토리 대표가 진행을 맡고 이활석 업스테이지 최고기술책임자(CTO), 이진원 하이퍼액셀 CTO, 김태호 노타AI CTO, 김준기 래블업 CTO가 참석해 AI 산업의 기술 병목과 추론 최적화 방향을 논의했다.
 네 회사의 주력은 서로 다르다. AI 산업을 단순하게 나누면 가장 아래에는 연산을 수행하는 AI 반도체와 메모리가 있고, 그 위에는 모델을 각 반도체에서 효율적으로 돌게 만드는 최적화 기술이 자리한다. 이어 여러 그래픽처리장치(GPU)와 AI 작업을 배분하는 인프라 운영 계층, AI 모델이 올라간다. 가장 위에서는 모델을 활용해 실제 업무를 수행하는 애플리케이션과 AI 에이전트가 작동한다.
 하이퍼액셀은 반도체, 노타AI는 모델과 반도체 사이의 최적화, 래블업은 인프라 운영, 업스테이지는 AI 모델에서 각각 출발했다. 패널들은 최근 이 경계가 빠르게 흐려지고 있다고 입을 모았다. 각자의 주력 기술을 유지하되 추론 효율을 높이기 위해 인접한 기술 영역으로 확장하는 흐름이 빨라지고 있다는 설명이다.
 ◆ 데이터부터 메모리까지 다른 AI 병목
 업스테이지는 강화학습(RL)과 학습 데이터 구축을 주요 병목으로 꼽았다. 모델 성능이 높아지면서 사람이 직접 문제와 정답을 만들어주는 방식만으로는 한계가 생겼고, 전문가도 풀기 어려운 문제와 풀이 과정을 대량으로 만들어 학습시키는 체계가 중요해졌다는 설명이다. 이활석 CTO는 “지금 회사 내부에서 가장 병목인 건 강화학습 쪽 파이프라인을 빨리 잘 구축하는 것”이라며 “RL을 할 수 있는 사람이 부족하다. 인프라도 다뤄야 하고 모델도 알아야 하며 도메인 지식과 아이디어도 있어야 한다”고 말했다. 이어 “GPU를 많이 쓰는 만큼 효율적으로 개발해야 하고 코딩 에이전트도 잘 써야 한다”며 “이런 것들이 모두 연결된 인력이 필요하다”고 덧붙였다.
 하드웨어에서는 메모리와 저장장치, 긴 반도체 개발주기가 과제로 꼽혔다. 이진원 하이퍼액셀 CTO는 “완전 밑단의 인프라에서 병목을 꼽으면 저장장치와 메모리 관련 문제가 크다”며 “AI 반도체는 아무리 빨리 만들어도 개발에 약 2년, 양산까지 더하면 3년 정도가 걸릴 수 있다”고 말했다. 이어 “오늘 다음 칩을 만들겠다고 하면 3년 뒤 세상이 어떻게 돼 있을지를 예상하고 만들어야 한다”며 “AI는 빠르게 변하는데 인프라 반도체는 느리게 갈 수밖에 있다는 점이 큰 병목”이라고 설명했다.
 노타AI는 병목이 모델 자체를 넘어 에이전트 운영으로 올라가고 있다고 봤다. 김태호 노타AI CTO는 “이전에는 모델 자체나 커널을 바꿔 소프트웨어 수준에서 효율을 높이는 데 초점을 맞췄다면 요즘에는 최적화의 주안점이 훨씬 위인 에이전트 레이어로 올라왔다”며 “에이전트가 어떤 업무를 하는지, 얼마나 오래 추론하게 할지, 어떤 요청에 어떤 모델을 쓰게 할지 같은 운영 방식이 효율을 크게 좌우한다”고 말했다. 그는 “아직 이 영역의 최적화 기법은 충분히 정립되지 않은 상태”라고 덧붙였다.
 래블업은 늘어나는 하드웨어와 AI 작업의 조합 자체를 병목으로 꼽았다. 김준기 래블업 CTO는 “저희는 기본적으로 오케스트레이션을 하는 미들웨어 회사인데 아래에는 다양한 하드웨어가 있고 위에는 여러 워크로드와 애플리케이션이 있다”며 “아래와 위의 조합이 계속 늘어나면서 이 모든 경우를 테스트하고 검증해야 하는 것 자체가 병목이 되고 있다”고 말했다.
 ◆ 추론 최적화, 한 곳만 손봐선 안 돼
 병목은 회사마다 달랐지만 추론 최적화 방향에서는 공통점이 나타났다. 모델이나 반도체 한쪽만 개선하기보다 실제 서비스가 어떻게 쓰이는지까지 전 과정을 연결해야 한다는 것이다.
 이활석 CTO는 여러 종류의 AI 가속기를 실제 서비스에 적용한 경험을 예로 들었다. 그는 “최적화는 실제 사용이 어떻게 되고 있느냐는 패턴과 굉장히 많이 연결돼 있다”며 “모델 구조뿐 아니라 우리가 받는 트래픽에서 어떤 부분이 많이 활성화되는지 같은 정보가 있을수록 더 잘 최적화할 수 있다”고 말했다.
 이어 “결국 어디에 쓰느냐, 어떤 식으로 쓰고 있느냐는 애플리케이션 수준의 정보가 아래까지 흘러가야 최적화를 맞출 수 있고 경쟁력이 생긴다”고 강조했다. 실제 서비스에서 발생한 사용 패턴이 모델과 소프트웨어를 거쳐 반도체까지 전달돼야 한다는 의미다.
 하이퍼액셀 역시 모든 성능 지표를 동시에 최고 수준으로 끌어올리는 것은 어렵다고 봤다. 이진원 CTO는 “속도는 빠를수록 좋고 전력은 낮을수록 좋고 비용은 쌀수록 좋지만 모든 것을 다 1등으로 만들 수는 없다”며 “트레이드오프가 있기 때문에 무엇을 취하고 버릴지 전략적으로 선택해야 한다”고 말했다.
 하이퍼액셀은 비용 절감에 초점을 맞췄다. 이 CTO는 “비싼 고대역폭메모리(HBM)를 쓰지 않고 DDR 메모리로도 충분히 좋은 서비스를 할 수 있다는 것을 보여주자는 방향”이라며 “지메일 요약처럼 실시간으로 처리할 필요가 없는 작업은 백그라운드에서 대량으로 저비용에 처리하는 것이 중요하다. 이런 시장부터 진입하려는 것”이라고 설명했다.
 노타AI는 추론 최적화 범위를 모델 압축과 경량화에서 에이전트 운영까지 넓혀 보고 있다. 김태호 CTO는 “적절한 모델을 골라 쓰게 만드는 라우팅이나 에이전트의 추론량을 어떻게 조절하느냐 같은 운영의 묘가 효율을 크게 좌우하는 레이어가 됐다”며 “실제 이용자가 에이전트를 어떻게 사용하는지 보면서 병목을 찾아가고 있다”고 말했다.
 래블업은 그 중간에서 하드웨어와 AI 작업을 연결하는 역할에 주목했다. 김준기 CTO는 “오케스트레이션에서 지금 가장 시급하게 요구되는 것은 워크로드 단위로 지표를 얼마나 구분해 볼 수 있느냐는 것”이라며 “각 워크로드가 실제로 에너지를 얼마나 쓰고 연산 자원을 얼마나 사용했는지를 알 수 있다면 사용량에 따라 자동 최적화 정책을 적용하는 등 다양한 시도를 할 수 있다”고 말했다.
 그는 다만 “하드웨어 제조사가 관련 정보를 제공하거나 기능을 열어주지 않으면 소프트웨어 회사가 단독으로 해결하기 어려운 부분도 있다”며 “결국 제조사와 파트너 관계를 통해 함께 만들어가야 하는 영역”이라고 덧붙였다.
 ◆ 2년 뒤엔 AI가 AI 인프라 쓴다…그래도 현장 경험은 못 베껴
 패널들은 앞으로 AI가 다른 AI와 인프라를 직접 사용하는 비중이 커지면서 추론 환경 자체도 달라질 것으로 내다봤다.
 이진원 CTO는 “AI를 위한 AI 모델과 사람을 위한 AI 모델이 따로 있을 것 같다”며 “인프라 자체도 AI를 위한 AI 인프라와 사람을 위한 AI 인프라가 완전히 분리되는 세상이 올 것”이라고 전망했다. 사람이 직접 질문하고 답을 받는 환경과 AI 에이전트가 대량으로 다른 AI를 호출하는 환경의 요구조건이 달라질 수 있다는 설명이다.
 김준기 CTO는 “소프트웨어 자체가 라이브로 생성되고 사용자 화면도 그때그때 만들어지는 개념이 나오고 있다”며 “AI가 미리 정해놓은 기능만 쓰는 것이 아니라 그때그때 로직을 짜서 시스템을 제어하게 되면 인프라가 어떻게 바뀌어야 하는지가 새로운 문제가 될 것”이라고 말했다.
 김태호 CTO는 “지금의 혼란이 어느 정도 잦아들면 수요는 오히려 더 다양해질 것”이라며 “다양해진 시장에서는 더 많은 기업이 각자의 영역에서 함께할 수 있을 것”이라고 전망했다.
 다만 AI가 코드를 만들고 기존 기술을 빠르게 재현하더라도 실제 산업 현장에서 쌓은 운영 경험까지 단기간에 복제하기는 어렵다는 데 의견이 모였다. 김준기 CTO는 “AI로 한 시간 동안 비용을 써서 백엔드닷에이아이의 복제품을 만들 수 있는 세상이 온다고 해도 그 복제품을 믿을 것이냐는 문제는 별개”라며 “얼마나 많은 조합과 실제 운영 환경, 사용자 시나리오에서 검증됐는지가 중요하다”고 말했다.
 김태호 CTO도 “최신 AI가 기존 최적화 기술을 재조합하는 능력은 계속 좋아지고 있지만 새로운 아이디어를 내거나 새로운 구조에 맞는 최적화 기법을 만드는 데는 아직 한계가 있다”며 “이런 부분에서는 전문가가 가진 경험과 노하우가 여전히 의미가 있다”고 말했다.
 이활석 CTO는 실제 고객과 서비스를 통해 얻는 경험 역시 자산이라고 강조했다. 그는 “고객을 만나 이미 다른 모델을 쓰고 있는데도 잘되지 않는 경우들을 보게 되고, 그런 것들이 다 쌓이는 자산”이라며 실제 서비스에서 확보한 데이터와 사용 패턴이 모델과 추론 최적화의 차별화 요소가 될 수 있다고 설명했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기