【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]'너무 똑똑해진 AI'의 역설 … 목표 달성하려 해킹까지 한다

온카뱅크관리자

2026-08-03 17:17:31

<div id="layerTranslateNotice" style="display:none;"></div> 오픈AI 해킹 사태가 불붙인 '강화학습' 안전성 논란 AI 스스로 답 찾는 '강화학습' 행동 결과 따라 보상 또는 벌칙 판단·추론 능력 향상시키지만 보상 좇아 통제 벗어날 우려도 오픈AI, 시험중 외부서버 해킹 앤트로픽도 기업 3곳 무단침투 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="Ug0RdmsATM">
 <figure class="figure_frm origin_fig" contents-hash="c71f07819e0cf4e8d3e76df0690916af0318a8f86b910e4c503b233f43230353" dmcf-pid="uapeJsOcTx" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/03/mk/20260803171203502gujq.jpg" data-org-width="1000" dmcf-mid="pBSqbinQSR" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/03/mk/20260803171203502gujq.jpg" width="658">
 </figure>
 인공지능(AI) 성능을 끌어올린 핵심 기술로 평가받는 '강화학습'이 AI 안전성 논란의 중심에 섰다. 최근 오픈AI의 모델이 사이버 보안 내부 테스트 중 격리 환경을 뚫고 허깅페이스 플랫폼과 다른 회사 서버를 해킹한 사실이 드러나면서다. AI가 스스로 판단하고 행동하는 범위가 넓어지면서 AI에 어디까지 권한을 부여할지가 새로운 과제로 떠오르고 있다.
 ◆ AI 키운 지도학습·강화학습
 그동안 생성형 AI는 방대한 데이터를 학습한 뒤 지도학습과 강화학습 등을 거쳐 답변의 정확도를 높여왔다. 지도학습은 사람이 만든 정답 사례를 바탕으로 AI가 질문에 적절한 답을 생성하는 방법을 익힌다. 예를 들어 AI에 수만 장의 강아지 사진을 학습시키면서 '강아지'라는 라벨을 붙여 공통 특징을 익히게 하면 학습을 마친 AI는 라벨이 없는 새로운 동물 사진이 입력돼도 강아지인지를 정확하게 분류해낼 수 있다. 이후 강화학습을 통해 사람이 선호하는 답변과 올바른 추론 방식에 높은 점수를 주면서 모델의 행동을 다듬는다.
 두 학습 방식은 AI가 배우는 재료부터 다르다. 지도학습은 사람이 정답을 표시한 데이터를 제공하고 AI의 예측과 정답 간 차이를 줄이는 방식이다. 이미지 분류와 문서 분석처럼 정확한 분류와 예측이 필요한 업무에 주로 활용된다. 다만 학습 데이터에 편향이 있으면 AI의 결과에도 같은 편향이 반영될 수 있다.
 그러나 강화학습에는 정답지가 없다. AI는 현재 상황에서 행동한 결과에 따라 보상이나 벌칙을 받고 이를 반복하며 가장 큰 누적 보상을 얻는 전략을 스스로 학습한다. '알파고'가 대표적이다. 게임 규칙만 알려주고 스스로 게임을 하면서 발전하도록 강화학습을 적용한 AI다.
 강화학습은 정답을 미리 정하기 어려운 환경에서 강점을 보인다. 자율주행차처럼 도로 상황에 맞춰 주행 전략을 바꾸거나 로봇과 같이 작업 환경에 따라 움직임을 조정하는 경우에 적합하다. 예를 들어 차선을 잘 지켜 안전하게 이동하면 보상을 주고, 차선을 벗어나거나 장애물에 부딪치면 벌칙을 부여해 위험 상황에 대처하는 능력을 기른다.
 ◆ 강화학습이 야기한 보상 해킹
 강화학습 시장은 빠르게 성장하고 있다. 시장조사 업체 리서치네스터에 따르면 전 세계 강화학습 시장 규모는 지난해 1226억달러(약 175조원)에서 2035년에는 19조100억달러(약 2경7305조원)까지 성장할 것으로 예상된다. 연평균 성장률이 65.6%에 달한다. 스스로 실행하는 AI 에이전트, 자율주행, 피지컬 AI 확산이 시장 성장을 이끌고 있다.
 하지만 강화학습은 보상 기준이 잘못 설계되면 의도하지 않은 행동을 학습할 수 있다는 한계도 있다. AI업계에서는 이를 '보상 해킹(Reward Hacking)'이라고 부른다. 목표 자체보다 보상 체계의 허점을 이용해 높은 점수만 얻으려는 행동으로, 오픈AI와 앤트로픽 같은 주요 AI 기업에서 차세대 AI의 주요 위험 가운데 하나로 지목하고 있다.
 최근 발생한 오픈AI 모델의 허깅페이스 플랫폼 해킹 사례가 대표적이다. 사이버 보안 문제를 풀도록 설정된 모델은 문제 자체를 정상적으로 해결하는 대신 정답이 저장된 서버의 위치를 추론해 접근했다. 문제를 풀라고 했더니 정답지를 훔치러 간 셈이다. 특히 인터넷이 차단된 환경에서도 새로운 취약점을 찾아 다른 시스템으로 이동할 수 있는 경로를 만들어냈다. 주어진 목표를 가장 빠르게 달성할 방법을 찾는 과정에서 예상 밖 행동을 선택한 사례인 것이다.
 강화학습 관점에서 보면 보안 평가에서는 취약점을 찾아내는 것이 높은 보상으로 연결되자 모델은 샌드박스 안에서 문제를 푸는 대신 정답이 있는 서버를 추론하고 외부 시스템으로 이동할 수 있는 경로를 스스로 탐색했다. 사람이라면 규칙 위반으로 인식할 행동도 AI는 목표 달성에 유리한 선택지 가운데 하나로 판단한 것이다.
 ◆ 피해 기업의 대응 체계도 허점
 앤트로픽은 오픈AI의 보안 사고 이후 인터넷 접속 가능성이 있었던 보안 평가 14만1006건을 다시 점검했다. 그 결과 미토스와 내부 연구용 모델이 실제 기업 3곳의 운영망에 무단으로 접근한 사실을 확인했다. 앤트로픽의 사고는 오픈AI 사례와 달리 모델이 취약점을 뚫고 격리망을 빠져나간 것은 아니었다. 앤트로픽과 외부 평가 업체 간 착오로 시험망에 인터넷 통로가 열려 있었고, 모델은 '인터넷에 연결돼 있지 않다'는 지시를 받았기 때문에 검색 과정에서 만난 실제 시스템도 모의훈련의 일부로 판단했다. 일반 서비스에 적용되는 공격 차단·감시 장치도 평가 모델에는 설치돼 있지 않았다.
 오픈AI의 보안 사고 이후 피해 기업의 대응 체계도 허점을 드러냈다. 허깅페이스는 오픈AI 모델이 자사 시스템에 침입하며 남긴 1만7000여 건의 기록을 상용 AI로 분석하려 했지만, 공격 명령과 악성 코드가 안전장치에 걸렸다.
 앤트로픽의 클로드는 안전을 이유로 분석을 거부했다. 결국 허깅페이스는 사용자가 직접 통제할 수 있는 중국산 오픈소스 모델 'GLM-5.2'를 자체 서버에서 가동해 공격 경로와 침입 과정을 재구성했다. 사이버 공격에 활용될 가능성이 있다는 우려가 제기된 오픈소스 모델이 오히려 사고 대응 도구로 쓰인 역설적인 장면이다. 
 [박성배 기자]
 </section> 
 </div> 
 Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기