【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI의 잘못된 정보, AI로 바로잡는다

온카뱅크관리자

2025-03-12 17:57:30

<div id="layerTranslateNotice" style="display:none;"></div> 크라우드웍스·셀렉트스타 등 보안·신뢰성 검증 솔루션 봇물 정보 오류·편향 파악해 수정 기업 절반 "AI 신뢰성 우려" 금융권 중심 수요 급증세 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="WiqFbiQ0yl">
 <figure class="figure_frm origin_fig" contents-hash="f03fdd8769e2d12d36a5b76748214909cafa1918f0f1feea50e92f949b5841ad" dmcf-pid="YnB3KnxpCh" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202503/12/mk/20250312174827833ltij.jpg" data-org-width="1000" dmcf-mid="yBfz8jiByS" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202503/12/mk/20250312174827833ltij.jpg" width="658">
 </figure>
 인공지능(AI) 에이전트 등 AI 서비스 도입 수요가 급증하면서 사전에 AI 서비스의 신뢰성을 검증할 수 있는 솔루션이 잇달아 등장하고 있다. 결과물의 편향성이나 부작용에 대한 우려로 기업들이 AI 채택을 주저하자 이 지점을 공략하기 위해 국내 스타트업이 대거 나서는 것이다.
 12일 정보기술(IT) 업계에 따르면 AI 데이터 기업인 크라우드웍스와 셀렉트스타는 지난달 각각 AI 신뢰성 검증 솔루션인 '알피 이밸류에이션'과 '다투모 이밸'을 출시했다.
 두 서비스 모두 AI 모델의 신뢰성과 안전성을 사전에 평가해 기업들이 실제로 도입하기 전에 AI의 취약점을 찾아 보완할 수 있도록 하는 것이 특징이다.
 검증 과정은 크게 AI 기술을 활용해 평가 대상인 모델의 데이터세트를 분석하고 해당 AI의 취약점을 이끌어낼 수 있는 질문을 생성해 답변을 분석하는 방식으로 진행된다. 또 부족한 점이 있다면 개선을 위해 AI가 필요한 데이터를 가져와 평가 모델을 보완한다.
 AI가 정치적으로 편향된 답변을 제공하거나 부정확한 결과를 도출하는 사례를 잡아내는 것은 물론 서비스 제공 범위를 벗어나는 내용을 이용자에게 제시하지 않도록 하는 것도 신뢰성 검증 솔루션의 역할이다.
 AI를 실제 업무에 활용하고자 하는 기업들의 관심은 그 어느 때보다 뜨겁다. 대한상공회의소가 최근 조사한 결과에 따르면 국내 기업의 78.4%가 AI 도입의 필요성을 인식하고 있는 것으로 나타났다. 시장조사기관 CB인사이츠 조사에서는 글로벌 기업 중 63%가 향후 1년간 AI 에이전트 채택을 매우 중요하게 고려하고 있다고 답했다.
 다만 기업들은 신뢰성과 보안 관련 우려를 AI 에이전트 도입의 장애 요소로 꼽고 있다. CB인사이츠에 따르면 조사 대상 기업 중 47%가 신뢰성과 보안 문제를 염려하고 있다고 응답했다. 이는 AI를 적용하고자 하는 기업들의 수요를 확실히 잡기 위해서는 신뢰성 문제 해결이 선행돼야 한다는 의미다.
 크라우드웍스는 AI 모델의 신뢰성 평가와 안전성 평가를 지원한다. 자동화된 솔루션을 통한 검증과 함께 인간 전문가 평가도 수행함으로써 교차 검증하는 것이 핵심이다.
 셀렉트스타는 AI 서비스 유형과 사용 목적에 따라 질문을 자동으로 생성해 평가하고, 여러 AI 모델의 성능을 비교하는 기능도 제공한다.
 신뢰성 검증 솔루션을 도입하고 있는 곳은 최근 고객 대상 AI 서비스를 선보인 금융기업들이다. 유안타증권이 최근 채택한 주식 종목 분석 AI 에이전트에 크라우드웍스의 솔루션이 활용됐으며 셀렉트스타의 솔루션 또한 일부 금융권 기업이 도입을 확정 지었다.
 SK텔레콤은 독거 어르신 돌봄 서비스에 활용되는 'AI 케어'의 대규모언어모델(LLM)을 개발하는 과정에서 AI 보안 스타트업 에임인텔리전스와 손잡고 안전성 검증 절차를 거쳤다. SK텔레콤 AI 케어는 AI가 어르신을 대상으로 먼저 전화를 걸어 대화를 나누는 서비스다.
 어르신과 대화할 때 AI가 혐오 발언 등을 해서는 안 되기에 에임인텔리전스는 가장 빈번히 발생할 수 있는 대화 시나리오부터 최악의 대화 결과까지 시뮬레이션을 돌리면서 정치적 답변이나 혐오 표현 등 위험 항목을 식별해 이를 보완했다.
 최근 앤스로픽의 AI 모델 정밀진단에도 참여한 바 있는 에임인텔리전스는 신뢰성을 검증하는 자체 솔루션 '에임 레드'를 통해 해외 진출도 타진하고 있다.
 오픈AI나 구글, 메타, 앤스로픽처럼 AI 원천 모델을 만드는 기업은 자체 레드팀을 사내에 두고 자사 모델의 안전성을 평가하고 있다. 레드팀은 해당 모델이나 서비스를 공격해 취약점을 찾고 이에 대응하는 방법을 연구하는 조직을 말한다.
 기업들이 범용 모델 사용에서 나아가 자사 서비스에 특화된 AI 기능과 에이전트 기술 도입에 속도를 내면서 각 회사 상황에 맞게 AI 안전성을 강화하려는 수요도 커지고 있다. 김우승 크라우드웍스 대표는 신뢰성 검증의 역할을 강조하며 "AI 도입이 활발해질수록 AI가 안전하고 책임감 있게 활용되도록 검증하는 것이 앞으로 중요한 과제가 될 것"이라고 설명했다.
 [안선제 기자 / 정호준 기자]
 </section> 
 </div> 
 Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기