【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]오픈AI vs 구글 vs 앤트로픽…슈퍼마리오 가장 잘하는 AI는?

온카뱅크관리자

2025-03-04 17:27:27

<div id="layerTranslateNotice" style="display:none;"></div> 美 UCSD AI 연구팀, 슈퍼 마리오 기반 AI 성능 평가 공개 앤트로픽 클로드 3.7이 1등…GPT-4o가 가장 먼저 게임 종료 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="uLDD0Lg23Q">
 <figure class="figure_frm origin_fig" contents-hash="e16b579842bebb2df72dc36f2956aa93023f0cbc0f3a9c6aa908f1f6c15e2eda" dmcf-pid="7owwpoaVzP" dmcf-ptype="figure">
 <img alt="[서울=뉴시스] 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다. (영상=하오 AI 랩 엑스 캡처) *재판매 및 DB 금지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202503/04/newsis/20250304172052009snah.gif" data-org-width="640" dmcf-mid="UtAA1diBux" dmcf-mtype="image" height="auto" src="https://t1.daumcdn.net/news/202503/04/newsis/20250304172052009snah.gif" width="640">
 <figcaption class="txt_caption default_figure">
 [서울=뉴시스] 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다. (영상=하오 AI 랩 엑스 캡처) *재판매 및 DB 금지
 </figcaption>
 </figure>
 [서울=뉴시스]윤정민 기자 = 오픈AI, 앤트로픽, 구글 인공지능(AI) 중 어느 회사 모델이 게임 '슈퍼 마리오'를 가장 잘할까.
 미국의 한 대학 연구진이 AI 모델별로 실시간 슈퍼 마리오 게임을 통해 각 모델 성능을 평가했다. 그 결과 앤트로픽 모델이 가장 뛰어난 성과를 보인 걸로 나타났다.
 4일(현지 시간) IT매체 테크크런치에 따르면 미 캘리포니아대 샌디에이고(UCSD) 연구기관 '하오(Hao) AI 랩'은 지난달 28일 슈퍼 마리오 브라더스 게임을 통한 AI 성능 평가 결과를 공개했다.
 평가에는 앤트로픽이 지난달 24일 공개한 모델 클로드 3.7, 직전 모델인 클로드 3.5와 구글 제미나이 1.5 프로, 오픈AI GPT-4o 등 네 종류의 모델이 활용됐다.
 슈퍼 마리오 브라더스를 에뮬레이터로 실행했으며 이 연구기관이 개발한 프레임워크 '게이밍에이전트'와 통합해 AI가 마리오를 제어하도록 했다.
 게이밍에이전트는 AI에 장애물이나 적이 가까이 있으면 왼쪽으로 이동 또는 점프해 회피하도록 지침을 제공했다.
 게임 시작 5초 만에 제미나이 1.5 프로가 구동한 마리오가 버섯과 부딪혀 죽었다. GPT-4o로 구동한 마리오도 마찬가지였다.
 이와 반대로 클로드 3.5와 3.7로 구동한 마리오는 상대적으로 오래 생존했다. 클로드 3.5로 구동한 마리오는 28초 만에 낭떠러지로 떨어졌고 클로드 3.7로 구현한 마리오는 적도 해치우며 45초에 달하는 생존력을 보였다.
 마리오 게임 특성상 생명 포인트 3개가 주어졌는데 제미나이 1.5 프로와 GPT-4o 모델은 1분도 안 돼 생명 포인트를 모두 소진하며 게임이 끝났다. 1등은 클로드 3.7 모델이었다.
 연구진은 오픈AI o1과 같은 추론 모델은 슈퍼 마리오와 같은 게임 평가에 활용되는데 적절하지 않았다고 말했다. 추론 모델은 행동 결정에 시간이 걸리는데 마리오 게임의 경우 1초의 차이에 따라 생존에 실패할 수 있기 때문이다.
 슈퍼 마리오뿐만 아니라 로블록스를 응용한 게임 등을 통해 AI 성능을 평가하는 시도가 이어지고 있다. 앤트로픽은 '클로드 3.7 소네트'를 훈련하기 위해 자사 모델을 게임보이 클래식 '포켓몬 레드'에 참여하도록 했다.
 기존에는 수행하지 못했던 태초마을 집 떠나기부터 게임 보스 격인 체육관장도 물리치며 배지를 얻는 등 자체적으로 능력을 향상시키는 모습을 보였다.
 하지만 슈퍼 마리오처럼 일부 게임의 경우 MMLU 등 기존 벤치마크와는 큰 차이가 있는 만큼 게임이 AI 성능을 제대로 평가하기 어렵다는 한계가 있다는 지적도 나온다. 특히 이번 평가에 활용된 구글 AI 모델의 경우 지난달 공개한 제미나이 2.0이라는 더 좋은 모델이 있어 같은 기준으로 성능 평가가 이뤄졌다고 보기 어렵다.
 하오 AI 랩 연구진은 이번 연구에 대해 "AI 평가에 대한 새로운 관점과 인간이 평가에서 수행하는 진화하는 역할을 연구하는 것"이라며 "게임이 거대언어모델(LLM) 에이전트를 테스트하는 데 있어 도전적이고 역동적인 환경을 제공한다고 믿는다"고 말했다.
 이어 슈퍼 마리오뿐만 아니라 테트리스, 블록 퍼즐 게임 '2048' 등을 활용한 게이밍에이전트도 출시할 예정이라고 전했다.
 ☞공감언론 뉴시스 alpaca@newsis.com 
 </section> 
 </div> 
 Copyright © 뉴시스. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기