【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI PoC 늘었지만 서비스화 난관… 데이터·보안·배포체계 갖춰야 [AI 플랫폼②]

온카뱅크관리자

2026-06-17 06:07:28

<div id="layerTranslateNotice" style="display:none;"></div> AI PaaS·LLM옵스·핀옵스로 개발·운영 자동화 필요성 커져 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="Q1BvjSSrRJ">
 생성형 인공지능(Generative AI) 확산으로 그래픽처리장치(GPU) 등 고성능 연산 자원 확보가 AI 도입의 기본 조건으로 자리 잡고 있다. 하지만 AI를 실제 서비스로 구현하려면 연산 자원 확보를 넘어 개발·배포 환경, 비용 관리, 운영 자동화, 이기종 자원 제어까지 함께 갖춰야 한다. AI 인프라 시장의 변화와 GPU 투자 이후 필요한 운영 플랫폼, AI 서비스화 과제, 통합 제어 기술의 방향을 3회에 걸쳐 살펴본다. [편집자 주]
 기업과 공공기관의 인공지능(AI) 도입을 위한 개념검증(PoC)과 시범사업이 늘고 있다. 고객·민원인 응대, 문서 요약, 검색, 보고서 작성, 이상 탐지, 업무 자동화 등 활용 분야도 넓어졌다. 기업·기관 내부 문서나 데이터베이스(DB)를 검색한 뒤 그 내용을 바탕으로 업무 맥락에 맞는 답변을 내놓는 검색증강생성(RAG) 기반 맞춤형 AI 챗봇도 주요 실험 대상이다.
 다만 PoC가 모두 성공적인 서비스 론칭을 의미하는 것은 아니다. PoC는 제한된 데이터와 사용자, 정해진 시나리오 안에서 가능성을 확인하는 단계다. 실제 서비스가 운영되려면 여러 부서와 사용자가 동시에 쓸 수 있어야 하고, 기존 업무 시스템과도 연결돼야 제 기능을 할 수 있다. 보안 정책과 감사 요건을 지켜야 하는 것도 중요 과제다. 여기에 장애 대응, AI 모델 및 GPU 사용에 따른 비용 관리, 이용량 증가에 따른 확장성까지 갖춰야 안전한 운영이 가능하다.
 결국 AI 서비스화의 성패는 모델 성능만으로 결정되지 않는다. 기업이 실제 업무에 AI를 적용하려면 외부 거대언어모델(LLM)이나 오픈소스 모델, 사내 특화 모델, 검색증강생성(RAG) 구성을 기존 업무 시스템, 데이터, 실행 인프라와 연결해야 한다. 개인정보와 내부 문서를 보호하면서 어떤 환경에 배포하고 운영할지, 장애와 비용을 어떻게 관리할지도 함께 설계해야 한다. 
 <div contents-hash="6485e7bd840342e0b0d72e0eb063b911f7b15573f2cdcdd00c5c6e48c16e7f40" dmcf-pid="GNORzMMVex" dmcf-ptype="general">
 권경민 이노그리드 최고기술책임자(CTO)는 "AI PoC가 실제 성과로 이어지려면 서비스 운영 단계까지 넘어가야 한다"며 "업무 시스템과 연결되고 여러 사용자가 안정적으로 사용할 수 있으며, 비용과 보안까지 관리할 수 있는 플랫폼 체계가 필요하다"고 말했다. 이어 "모델과 데이터, 업무 시스템, 인프라, 보안, 배포 과정을 한곳에서 관리하는 것이 PoC 이후 서비스화의 핵심 과제"라고 덧붙였다.
 </div>
 <figure class="figure_frm origin_fig" contents-hash="dc551eace6b3360040ac061593b39eee5b426f1a02e58077fbe2ce50e57da98d" data-idxno="445323" data-type="photo" dmcf-pid="HjIeqRRfLQ" dmcf-ptype="figure">
 <img alt="AI 도입을 위한 기업·공공기관의 PoC·시범사업이 늘고 있지만, 실제 서비스를 위해서는 단순 모델 성능을 넘어 기존 시스템과의 연결과 안정성, 비용 관리와 보안까지 통합 관리할 수 있는 통합 플랫폼의 역할이 더 중요하다. / 챗GPT 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/552810-SDi8XcZ/20260617060017972hgpc.png" data-org-width="600" dmcf-mid="P88ZmXXSdi" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/552810-SDi8XcZ/20260617060017972hgpc.png" width="658">
 <figcaption class="txt_caption default_figure">
 AI 도입을 위한 기업·공공기관의 PoC·시범사업이 늘고 있지만, 실제 서비스를 위해서는 단순 모델 성능을 넘어 기존 시스템과의 연결과 안정성, 비용 관리와 보안까지 통합 관리할 수 있는 통합 플랫폼의 역할이 더 중요하다. / 챗GPT 생성
 </figcaption>
 </figure>
 데이터·보안·배포가 장벽
 기업들이 AI 도입 시 가장 먼저 부딪히는 문제로 데이터 연계가 있다. 기업의 업무 데이터는 전사적자원관리(ERP), 고객관계관리(CRM), 그룹웨어, 문서관리시스템, DB, 파일 서버 등에 흩어져 있다. 업무에 필요한 AI 서비스가 제대로 작동하려면 이 데이터와 연결돼야 하지만 데이터 형식과 권한, 보안 등급은 제각각이다. PoC 단계에서는 일부 데이터를 복사해 실험할 수 있지만 운영 단계에서는 필요한 원천 시스템의 데이터와 AI 모델을 안전하게 연결해야 한다.
 보안과 거버넌스도 장벽이다. 생성형 AI 서비스가 내부 문서, 개인정보, 영업기밀을 다룬다면 입력 데이터와 출력 결과도 함께 관리해야 한다. 누가 어떤 데이터에 접근했는지, 어떤 답변이 생성됐는지, 민감정보가 외부로 나가지 않았는지를 추적할 수 있어야 한다. 특히 공공·금융·제조 등 규제가 강하고 사내 데이터의 가치가 높은 산업에서는 내부망, 폐쇄망, 온프레미스로 구성된 기존 환경까지 고려해야 한다.
 배포와 확장성 문제도 뒤따른다. AI 서비스는 한 번 배포한다고 끝나는 게 아니다. 데이터가 바뀌면 답변 품질이 달라지고, 모델이나 프롬프트 버전도 계속 바뀐다. 특정 업무에 맞춰 검색 데이터와 API 연결 방식도 조정해야 한다. 이용자가 늘면 추론 요청도 증가해 GPU 비용 부담과 응답 지연 문제가 발생하기 쉽다.
 클라우드 네이티브 기반 플랫폼이 필요한 이유가 여기에 있다. 컨테이너와 쿠버네티스를 기반으로 서비스 배포, 확장, 장애 복구, 자원 배정을 자동화해야 PoC 단계에서 동작을 확인한 AI를 실제 업무에서 사용 가능한 서비스로 전환할 수 있다. 서비스형 AI 플랫폼(AI PaaS)은 이 과정에서 AI 서비스 개발과 배포에 필요한 실행 환경을 제공한다.
 AI PaaS는 데브옵스(DevOps) 기반의 개발·배포·운영 자동화를 전제로 한다. 특히 생성형 AI 서비스에서는 프롬프트와 검색증강생성(RAG), 답변 품질, 답변 오류·환각, 민감정보 노출, 모델 호출 비용을 관리하는 LLM옵스(LLMOps)가 중요하다. 추천, 이상 탐지, 분류처럼 기존 머신러닝 모델을 함께 운영하는 경우에는 모델 학습, 배포, 성능 모니터링, 재학습 과정을 관리하는 ML옵스(MLOps)도 필요하다. 고가의 GPU 자원과 외부 모델 호출 비용을 관리하려면 사용량과 비용을 추적하는 핀옵스(FinOps·비용 최적화) 체계도 함께 갖춰야 한다.
 이노그리드, AI 개발·배포·운영 플랫폼으로 확장
 국내 클라우드 솔루션 기업들도 AI 서비스화에 필요한 플랫폼 체계를 강화하고 있다. 대표적으로 이노그리드는 풀스택 클라우드 기술을 바탕으로 AI 개발·배포·운영 전 과정을 지원하는 플랫폼 전략을 발표했다. 오픈스택 기반 서비스형 인프라(IaaS), 쿠버네티스 기반 서비스형 플랫폼(PaaS), 클라우드 관리 플랫폼(CMP), 데브옵스(DevOps) 솔루션에 AI 플랫폼 기능을 더하는 전략이다.
 이노그리드는 'From xPU to AI Platform'을 기술 슬로건으로 제시했다. GPU, NPU, CPU 같은 연산 자원을 묶는 데 그치지 않고, AI 서비스 개발과 운영까지 하나의 플랫폼 체계로 연결하겠다는 구상이다. 회사는 AI 인프라, 실행 환경, 개발·배포 자동화, AI 서비스 운영, 비용 관리 기능을 단계적으로 확대하고 있다.
 이노그리드는 이 전략에 따라 'AI 팩토리 플랫폼(AI Factory Platform)'을 선보인다. 이 플랫폼은 AI 서비스 개발, 학습, 배포, 운영 전 과정을 지원하는 AI PaaS다. ML옵스와 LLM옵스, RAG, AI 에이전트 기반 서비스 개발까지 포함해 AI 서비스 생애주기를 관리할 수 있다.
 권경민 이노그리드 CTO는 "기존 AI 환경에서는 개발, 학습, 배포가 분리돼 있고 GPU 자원 활용에도 한계가 있다"며 "이노그리드는 AI 개발부터 운영까지 전 과정을 엔드투엔드(End-to-End)로 실행·관리하는 구조를 개발했다"고 말했다.
 AI 서비스 운영에서는 개발자와 운영자의 역할을 함께 고려해야 한다. 개발자는 필요한 개발·실행 환경을 직접 신청해 쓰고, 운영자는 배포 상태와 사용 이력, 권한을 추적·관리할 수 있어야 한다는 설명이다. 특히 PoC 단계에서 만든 기능을 실제 서비스로 옮기려면 개발, 배포, 모니터링, 개선 과정을 반복할 수 있는 운영 체계가 필요하다는 게 이노그리드의 설명이다.
 이에 이노그리드의 AI 플랫폼 전략은 인프라, 실행 환경, 모델 운영, 배포 자동화, 클라우드 관리를 하나의 운영 체계로 연결하는 데 초점을 맞춘다. '오픈스택잇(Openstackit)'은 오픈스택 기반 인프라 환경을 제공하고, 'SE클라우드잇(SECloudit)'은 쿠버네티스 기반 실행 환경을 담당한다.
 또 'ML옵스잇(MLOpsit)'은 모델 학습과 배포, 성능 모니터링 등 모델 운영 과정을 관리한다. '데브옵스잇(DevOpsit)'은 AI 서비스 변경과 배포 과정을 자동화하고, CMP '탭클라우드잇(TabCloudit)'은 여러 클라우드와 인프라 자원, 운영 상태, 비용을 관리하는 AI CMP로 확장된다.
 이노그리드는 이렇게 고도화한 AI 팩토리 플랫폼을 중심으로 개발 환경, 배포 자동화, 쿠버네티스 기반 실행 인프라, 클라우드 관리 기능을 연결해 PoC 이후 실제 운영 단계까지 지원하는 플랫폼 체계를 확장한다는 계획이다.
 정종길 기자 jk2@chosunbiz.com
 </section> 
 </div> 
 Copyright © IT조선. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기