【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]“정보 유출·비용 폭탄 막아라“… 기업들 자체 ‘AI 서버’ 짓는다

온카뱅크관리자

2026-10-14 06:07:25

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="2vtX29hDHi">
 <figure class="figure_frm origin_fig" contents-hash="dd6450b90325cfba603a1a3d467d0e4132f44f907e82836f8d1a9fd7419d5380" dmcf-pid="VTFZV2lwXJ" dmcf-ptype="figure">
 <img alt="AI 비용 상승, 기밀 정보 보호 등을 이유로 자체 AI서버를 두고 있는 기업들/챗GPT" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/14/chosun/20261014060217744dxxz.jpg" data-org-width="1448" dmcf-mid="9449oL0HGn" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/14/chosun/20261014060217744dxxz.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 AI 비용 상승, 기밀 정보 보호 등을 이유로 자체 AI서버를 두고 있는 기업들/챗GPT
 </figcaption>
 </figure>
 미국 2위 로펌 래섬앤드왓킨스는 최근 H200 등 엔비디아 그래픽 처리 장치(GPU)를 탑재한 AI(인공지능) 서버를 구입하고 서버를 둘 보안 데이터센터 공간까지 빌렸다. 이곳에서 엔비디아가 개발한 개방형(오픈 웨이트) AI 모델 ‘네모트론 3’를 회사 업무에 맞게 조정해 고객 문서를 분석하는 업무에 활용할 계획이다. 챗GPT·클로드 등 외부 AI도 업무에 활용하지만 외부 클라우드에 맡기기 어려운 고객 기밀 정보는 자체 AI 서버에서 처리하려는 것이다. 미국 대형 로펌이 자체 AI 하드웨어까지 확보한 것은 처음이다. 르네 멘도사 래섬앤드왓킨스 최고정보책임자(CIO)는 “고객 정보 중에는 매우 민감해서 외부 클라우드 업체에 맡길 수 없는 데이터가 있다”며 “앞으로 AI 사용에 따른 비용이 크게 늘어날 수 있어 AI 활용에 있어 선택의 폭을 넓히고 싶었다”고 말했다.
 기업들이 클라우드에서 빌려 쓰던 AI를 넘어 GPU와 데이터센터, AI 모델을 직접 확보하기 시작했다. AI가 일부 직원이 시험 삼아 사용하는 도구에서 회사 전체가 상시 사용하는 업무 인프라로 바뀌면서다. 딜로이트가 연매출 5억달러 이상 미국 기업 515곳을 조사한 결과, 64%가 자체 ‘AI 팩토리’를 제한적 또는 본격적으로 구축하고 있다고 답했다. 2028년에는 이 비율이 88%까지 높아질 것으로 예상됐다.
 ◇왜 GPU 사나…AI 사용 비용 줄이고 기밀 보호
 기업들이 자체 AI 서버를 두고 운영하는 가장 큰 이유 중 하나는 AI 사용량이 늘수록 불어나는 외부 AI 이용 비용을 줄이기 위해서다. 사람이 챗봇에 몇 차례 질문하는 것과 달리 AI 에이전트는 업무 하나를 처리하면서 AI 모델을 반복적으로 호출한다. 딜로이트 조사에서 기업의 67%는 이미 한 달에 10억개 이상의 토큰(AI가 정보를 처리하는 기본 단위)을 사용하고 있었고, 2028년에는 61%가 월 100억개 이상을 사용할 것으로 예상했다. AI 사용량이 일정 수준을 넘으면 매번 토큰 사용료를 내는 것보다 GPU 서버를 갖추고 자체 모델을 운영하는 편이 유리한지를 기업들이 따지기 시작한 것이다.
 방산·제약·바이오처럼 기밀 데이터가 경쟁력과 직결되는 기업들도 민감한 정보를 외부 AI 업체에 보내지 않기 위해 자체 AI 서버를 늘리고 있다. 방산업체 록히드마틴은 자체 ‘DGX 슈퍼팟’에서 매주 10억개 이상의 토큰을 처리한다. 군사·위성 등 민감한 데이터는 승인된 내부 시설에서 AI로 처리하고, 일시적으로 연산량이 급증하거나 기밀이 아닌 데이터를 다룰 때는 클라우드를 이용한다. 제약사 일라이릴리는 올 2월 엔비디아 블랙웰 울트라 GPU 1016개를 탑재한 AI 수퍼컴퓨터 ‘릴리팟’을 가동했다. 자사가 축적한 신약 연구 데이터를 이용해 유전체를 분석하고 수십억 개의 화합물 후보를 탐색한다. 바이오기업 로슈도 자체 시설과 클라우드를 합쳐 3500개 이상의 GPU를 운용하고 있다.
 성능 좋은 오픈웨이트 AI가 빠르게 늘면서 기업이 외부 AI 업체를 거치지 않고 자체 서버에서 AI 모델을 구동하는 것도 쉬워졌다. 과거에는 기업이 GPU를 확보해도 챗GPT나 클로드의 핵심 모델을 기업 데이터센터로 가져와 운영할 수 없었다. 하지만 가중치가 공개된 모델의 성능이 높아지면서 기업이 이를 내려받아 자체 데이터에 맞게 조정해 사용할 수 있게 됐다.
 ◇AI 인프라도 ‘부익부 빈익빈’
 모든 기업이 자체 AI 서버를 구축하기는 어렵다. 자체 AI에는 GPU뿐 아니라 데이터센터와 전력·네트워크, 이를 관리할 전문 인력도 필요하기 때문이다. 결국 AI를 대량으로 사용하거나 민감한 데이터를 많이 갖고 있으면서 초기 투자와 전문 인력을 감당할 수 있는 대기업부터 자체 AI 서버 구축이 확산될 가능성이 크다.
 국내에서도 기업 규모에 따라 AI를 도입하는 방식이 뚜렷하게 갈리고 있다. 삼성SDS가 생성 AI를 도입했거나 검토 중인 기업 관계자 670명을 조사한 결과 대기업은 43%가 자체 AI 솔루션 구축을 선호한 반면 중견기업은 27%였다. 중소기업·스타트업에서는 절반이 자체 구축 대신 직원에게 외부 AI 서비스 구독료를 지원하는 방식을 선호했다.
 기업들의 ‘AI 직접 소유’는 메모리 시장에도 영향을 줄 것이라는 전망도 나온다. 그동안 최신 AI GPU와 고대역폭 메모리(HBM)의 주요 고객은 마이크로소프트·아마존·구글·메타 같은 하이퍼스케일러와 대형 AI 업체였다. 일반 기업이 자체 AI 서버를 늘리면 GPU와 HBM뿐 아니라 서버용 D램·기업용 솔리드스테이트드라이브(SSD)의 수요처도 기업 데이터센터로 넓어진다. 반대로 클라우드 업체에는 지금까지 자사 데이터센터에서 처리하던 일부 AI 연산을 고객 기업의 서버에 내줄 가능성도 생긴다.
 테크 업계 관계자는 “앞으로 기업의 AI 경쟁력은 어떤 모델을 쓰느냐뿐 아니라 충분한 GPU와 전문 인력을 갖추고 AI를 얼마나 많이, 싸고 안전하게 돌릴 수 있느냐에서 차이가 날 것”이라고 했다.
 </section> 
 </div> 
 Copyright © 조선일보. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기