【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AAII 1위 모티프 탈락 이유는 ‘사용성 평가’…국가대표 AI, 프론티어 프로젝트와 연계[일문일답]

온카뱅크관리자

2026-08-18 12:47:28

<div id="layerTranslateNotice" style="display:none;"></div> 류제명 2차관 “모티프, 기술력은 세계적 수준 "사용성·활용성에서 다른 기업보다 낮은 평가” “벤치맥싱 논란, 평가에 반영 안 해" "AAII 검토 결과 암기·과적합 단서 없어” 독파모 3차 평가 예정대로 진행 프론티어급 모델 경쟁 위한 체계 재편 검토 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="UUT1aCKpDz">
 [이데일리 김현아 기자] 과학기술정보통신부가 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 AAII(Artificial Analysis Intelligence Index) 1위를 차지한 모티프테크놀로지스의 탈락 배경으로 ‘사용성·활용성 평가’를 꼽았다.
 독파모 2차 평가에서는 업스테이지, SK텔레콤(017670), LG(003550) AI연구원이 통과했다.
 류제명 과기정통부 2차관은 18일 독파모 2차 평가 결과 브리핑에서 “모티프는 AAII 점수가 굉장히 높은 수준으로 뛰어난 성과를 보여준 것이 분명하다”면서도 “100점 만점에서 AAII는 25점 배점이고, 다른 평가를 종합하면 기술력은 뛰어났지만 75점의 배점에 상당한 무게 중심이 있었던 사용성·활용성 부분에서 다른 기업들에 비해 낮은 평가를 받았다”고 말했다.
 류 차관은 또 “벤치맥싱 관련 이슈는 평가에 반영되지 않았다”며 “AAII의 공식 답변과 전문가 평가를 통해 불공정한 기술 지원 등이 없었다고 결론 내렸다”고 밝혔다. 벤치맥싱은 특정 테스트셋이나 평가 방식에 맞춰 모델을 과도하게 최적화하는 것이다.
 <figure class="figure_frm origin_fig" contents-hash="6e6ad1b7de6699fa7dcf817616566958b238f21844cecdec13ac6ab10452de6b" dmcf-pid="BQuVlFiPE0" dmcf-ptype="figure">
 <img alt="류제명 과기정통부 제2차관. 사진=이데일리 김현아 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/18/Edaily/20260818124538514pzhn.jpg" data-org-width="724" dmcf-mid="0cDlQjtWIB" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/18/Edaily/20260818124538514pzhn.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 류제명 과기정통부 제2차관. 사진=이데일리 김현아 기자
 </figcaption>
 </figure>
 <div contents-hash="7e2e870625410be8ac683e1826c3ea2c72340b46379d3760d2111718684a30a6" dmcf-pid="bx7fS3nQw3" dmcf-ptype="general">
 다음은 류제명 2차관 등 과기정통부 관계자들과 기자들의 일문일답.
 </div>
 Q. AAII 1위 모티프가 독파모 2차 평가에서 탈락한 이유는 무엇인가.
 모티프는 AAII 점수가 굉장히 높은 수준입니다. 당시 평가에서 정말 눈에 띄는 뛰어난 성과를 보여준 것은 분명한 사실입니다.
 그런데 100점 만점에서 AAII는 25점 배점입니다. 다른 평가들을 종합적으로 보면 기술력은 뛰어났지만, 평가에 내재된 75점의 배점에 상당한 무게 중심이 있었던 사용성·활용성 부분에서는 다른 기업들에 비해 낮은 평가를 받았다는 게 결과적으로 해석할 수 있는 내용입니다.
 그렇게 이해해 주시면 좋겠습니다.
 Q. 모티프가 사용성에서 낮은 평가를 받은 것이 전문가 평가와 AI 전문 사용자 평가 모두에 해당하는가.
 기업들의 순위나 구체적인 점수는 가급적이면 의미 있는 사항이라면 공개해드리겠지만, 점수 차이로 인해 다른 해석이 나오거나 해당 기업이 뜻하지 않은 불이익을 받을 수 있는 점이 우려됩니다.
 지난 1차 라운드에서도 그랬기 때문에 구체적으로 어떤 항목에서 어떤 평가를 받았는지 세세하게 공개하기는 어렵습니다.
 다시 한번 말씀드리지만 모티프는 기술력 측면에서 세계적인 수준이라는 것을 증명했고, 평가에서도 모두 반영됐습니다.
 다만 사용성·활용성 측면에서는 다른 모델들에 비해 평가가 낮았다는 점으로 설명해 주시면 감사하겠습니다.
 Q. 모티프에 대한 정부 차원의 별도 지원이나 후속 조치가 있는가.
 모티프테크놀로지스는 이번 결과에서 AAII 글로벌 벤치마크 리더보드에서 전 세계적으로 알려졌습니다. 아주 독창적인 알고리즘 모델 설계부터 AI 기술력에 대한 글로벌 경쟁력을 보여줬다는 점에서 굉장히 큰 성과라고 보고 있습니다.
 다만 소수의 연구인력으로 연구개발 중심의 기술력을 쌓아온 기술기업이었고요. 앞으로 저희가 1차 이후 2차 평가에서도 사용성·활용성에 대한 평가를 확대하겠다고 했고, 이번에도 그런 결과가 반영됐습니다.
 앞으로 우리 AI 모델들이 여러 산업 현장이나 공공 분야에서 활용될 텐데, 그런 점에서 모티프는 이미 탄탄한 기반을 닦았다고 판단할 수 있습니다.
 특별하게 모티프를 어떻게 지원할 것이냐 하는 문제는 정부가 앞으로 해나갈 프로그램에 모티프가 지원해서 지원받는 것 외에 모티프를 위한 특별한 대책이나 이런 것을 말씀드리는 것은 적절하지 않을 것 같습니다.
 <figure class="figure_frm origin_fig" contents-hash="f677a2f217ea0303750de206342216ab93244d703b67b24aa7d745dd3ace995f" dmcf-pid="GykC6a5TOl" dmcf-ptype="figure">
 <img alt="출처: 아티피셜 애널리시스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/18/Edaily/20260818124539771ajav.jpg" data-org-width="600" dmcf-mid="pdeNuPCEIq" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/18/Edaily/20260818124539771ajav.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 출처: 아티피셜 애널리시스
 </figcaption>
 </figure>
 <div contents-hash="761d8e83ba8f6cb9d18d9b0ec30e15a5d843c6faf672233c35a450e5bf0a478c" dmcf-pid="HWEhPN1yrh" dmcf-ptype="general">
 Q. 모티프를 탈락시킨 것이 대기업에 비해 제휴·협력이나 생태계 기여가 부족했기 때문인가. 전문가 평가 항목에 있는데.
 </div>
 특별히 어떤 항목이 결정적이었다고 보기 어려울 정도로 각 항목별 1위 기업, 또 2·3위 간 격차 등이 종합적으로 만들어낸 결과라고 이해해 주시면 좋을 것 같습니다.
 각 벤치마크 평가, 전문가 평가, 사용자 평가 모두 격차가 아주 미세했습니다.
 전체적으로 보면 벤치마크 평가에서는 1위와 4위 간 격차가 4점이었고, 사용자 평가에서는 5점이어서 그 사이에서 왔다 갔다 하는 것으로 봐주시면 될 것 같습니다.
 Q. 벤치맥싱 논란이 모티프 탈락에 영향을 미쳤나.
 결론적으로 벤치맥싱 관련 이슈는 평가에 반영되지 않았습니다.
 저희가 AAII의 공식적인 답변을 토대로 했고, 전문가 평가를 통해 이런 여러 가지 사항을 검증한 결과 평가 경쟁의 불공정한 기술 지원이나 이런 부분들은 없었다는 결론을 내렸습니다.
 벤치맥싱 부분은 여러 논란이 일부 있었던 것으로 알고 있습니다. 저희가 벤치마크 평가와 관련해 아티피셜 애널리시스사에 공식적으로 분석 결과를 의뢰했고, 공식적인 답변을 받았습니다.
 아티피셜 애널리시스가 좋은 점수를 받는 모델들이 시험을 잘 보는 목적으로 최적화되는 여러 시도를 차단하는 것들에 대해 설명하면서, 이번에 저희가 의뢰한 사안에 대해서 검토한 결과 체계적인 암기나 과적합 문제를 입증할 만한 단서를 찾지 못했다고 답변했습니다.
 따라서 그 부분에 큰 문제가 없다는 답변을 받았습니다. 벤치맥싱 문제는 해당 평가기관에서 공식적인 답변을 받았다는 것으로 답변을 대신하겠습니다.
 Q. 벤치마크 점수 배점 40점을 향후 수정할 가능성이 있나.
 배점 할당 부분은 저희가 벤치마크를 1차 때 주요 벤치마크들을 참여 정예팀들과 공감대하에서 만들어진 공통 벤치마크들과 참여 정예팀들이 비교해보겠다고 하는 개별적인 벤치마크들을 종합해서 한 결과입니다.
 그 방식에도 장단점이 있어서 2단계에서는 AAII라는 글로벌 공신력 있는 벤치마크로 단일화하자는 논의를 해서 이렇게 한 것입니다.
 배점 문제나 이런 부분들은 여러 관점에서 차이가 있기는 한데, 전체적으로는 최종적으로 참여 기업들의 의견과 전문가들 논의를 거쳐서 배점 평가 방식과 배점 배분을 확정했습니다.
 참여 기업들의 이의제기를 충분히 받아서 이의가 해소될 때까지 공감대를 형성하는 작업을 거친 결과로 이해해 주시면 됩니다.
 독파모 3차 평가 예정대로…프론티어급 모델 경쟁체계 재편 검토
 Q. 독파모 3차 평가에서 최종적으로 한두 개 기업을 선정하는 기존 계획이 바뀔 수 있나.
 독자 AI 파운데이션 모델 개발 프로젝트를 최종적인 승자로, 원래는 3라운드 결과 2개 기업을 최종 선정해서 2027년 1년 동안 이 2개 기업이 글로벌 수준의 95% 정도 역량을 갖춘 AI 모델 개발을 추진한다는 것이 표면적인 목표였습니다.
 그런데 저희가 1차 브리핑 때도 말씀드리고 이번에도 말씀드립니다만, 이 프로젝트는 한두 개 기업의 승자를 뽑기 위한 것이 아니라 이런 경쟁을 통해 우리 AI 생태계가 글로벌 수준으로 발전해 나가는 직간접적인 자극을 주는 것이 목적입니다.
 AI 생태계 자체의 경쟁력을 높이려는 것입니다.
 3차 평가와 관련해서는 조만간 정부 예산이 확정되고 구체적인 설명 기회를 갖도록 하겠습니다.
 Q. 독파모를 보완하는 프론티어 모델 사업을 새로 만드는 것인가, 기존 독파모를 프론티어 경쟁 방식으로 재편하는 것인가.
 더 구체적인 이야기를 드릴 수 있는 단계가 아니라서 양해를 부탁드립니다.
 전반적인 문제의식에 대해서는 다시 한번 강조드리겠습니다.
 글로벌 프론티어 기업들의 모델 성능이 기하급수적으로 발전하고 있고, 이를 통해 글로벌 서비스 생태계를 확장해 나가는 것이 너무 빠른 속도로 전개되고 있습니다.
 독파모 프로젝트에 참여한 기업들도 다 같이 새로운 경쟁의 판이 필요하다는 데 공감하고 있습니다.
 우리 국내 생태계에서 글로벌 프론티어 기업들에 버금가는 모델을 만들고, 국내외 AI 생태계가 지속 가능하고 역량을 계속 유지해 나가기 위해 새로운 접근 방법이 필요합니다.
 자원을 지금까지 해온 것처럼 분산할 것인지, 아니면 집중할 것인지, 기업들은 어떤 컨소시엄을 구성하는 것이 바람직한지 등을 실제 당사자인 기업들과 많은 논의를 하고 있습니다.
 정부 내부에서도 재정 지원 가능성과 실효성 등을 논의하고 있습니다. 구체화되는 대로 다시 설명드릴 기회를 갖겠습니다.
 Q. 독파모 3차 평가와 프론티어 AI 프로젝트는 어떤 관계인가.
 이번 독파모 프로젝트의 하반기 3단계가 진행되고, 2027년에 저희가 논의한 계획대로 한다면 새로운 경쟁 구도가 만들어질 텐데, 그것과 어떤 관계로 문제를 풀지는 정부 예산이 확정되면 가장 빠른 시간에 논의된 내용을 다시 말씀드릴 수 있을 것 같습니다.
 지금과 같은 경쟁 방식을 탈피해서 실질적으로 글로벌 프론티어 기업들의 모델에 버금가는 모델 경쟁을 우리가 가능한 방식으로 재편하자는 공감대가 있습니다.
 Q. 3차 평가 일정과 구체적인 평가 방식은.
 3단계 평가는 오늘 기업들에게 결과를 통보했습니다. 이의제기 절차가 남아 있어서 이의가 제기되면 소명하고 그 이후 바로 진행될 예정입니다.
 3차 단계의 구체적인 평가 방안은 이번 1·2차 평가를 경험하면서 추가적으로 보완할 점이 있는지 살펴보고, 참여하는 3개 기업과 협의를 거쳐 가장 빠른 시간에 확정하고 발표할 계획입니다.
 Q. 3차 평가를 통과한 3개 팀에 대한 GPU 지원 규모는.
 (최동원 국장) GPU 비용과 관련해서는 6개월간 GPU를 임차한다고 가정했을 때 한 400억원 정도 들어가는 것으로 파악하고 있습니다.
 3개 팀이기 때문에 3개 팀에 이번 3차 기간 동안 지원될 GPU를 금액으로 환산하면 한 1,200억원 정도로 예상하시면 되겠습니다.
 국민평가, 당락에는 영향 없어…AAII와 3차 평가 협력
 Q. 일반 국민 평가의 반응과 당락에 미친 영향은.
 국민 평가는 당초 200명의 일반 국민 평가단을 운영하겠다는 목표로 모집했습니다. 당시 약 1,400명이 응모했고, 그중에서 무작위로 200명을 골라 평가단으로 참여시켰습니다.
 국민들의 참여 열기가 굉장히 높았다고 평가하고 있습니다. 최종적으로는 185명의 국민께서 참여했습니다.
 일반 국민 평가는 최종적으로 검토해본 결과 당락에 영향을 미치지 않았습니다.
 Q. 사용자 평가 점수가 일반적으로 낮았던 이유는
 185명이 최종적으로 참여했습니다.
 1,400명 응모자를 대상으로 랜덤하게 선정했고, 이해충돌 여부를 가리기 위해 소속 회사와의 이해충돌 여부에 대한 서약과 현재 소속 기관 등에 대한 정보를 입력하도록 해서 한 분 한 분 확인했습니다.
 이해충돌 문제가 있는 경우도 있었고, 실제로 참여하시는 분들 중에서도 응답을 제출하지 않는 분들도 있었습니다.
 평가 결과를 ‘박하다’고 표현할 수 있을지는 모르겠습니다. 각 지표별 편차가 크지 않습니다.
 4개 기업이 있다 보니까 각각 지표별 내부적인 차이가 크지 않고, 평가 점수의 차이도 대동소이합니다.
 특히 사용자 평가에서는 특정 기업에 몰표를 주거나 고득점, 만점을 주거나 최하점을 주는 사례들은 걸러내는 작업도 했습니다.
 그런 것들이 반영돼 결과적으로 편차가 다른 지표에 비해 크다고 볼 수는 없었습니다.
 Q. 아티피셜 애널리시스와 어떤 협력을 진행하나
 AAII는 이번 평가에서도 한국 독자 AI 파운데이션 모델 프로젝트에 대한 관심을 지속적으로 보여줬습니다.
 이번 평가를 위해 별도의 플랫폼을 만들어 단기간에 평가가 정확하고 공정하게 이뤄질 수 있도록 구체적인 협력을 해줬습니다.
 앞으로도 AAII의 평가와 관련해 3차 평가에서도 전문적인 의견 교환이나 자문을 할 수 있는 협력 관계를 이어갈 계획입니다.
 “모티프처럼 새로운 스타트업 부상…국내 AI 생태계 경쟁력 높이는 과정”
 Q. 독파모 프로젝트의 궁극적인 목적은 한두 개 국가대표 AI를 뽑는 것 아닌가.
 이 프로젝트는 한두 개 기업의 승자를 뽑기 위한 것이 아니라 이런 경쟁을 통해 우리 AI 생태계가 글로벌 수준으로 발전해 나가는 직간접적인 자극을 주는 것이 목적입니다.
 AAII 글로벌 벤치마크에 등록된 AI를 만들어내는 회사들이 한 58개 정도 있습니다. 이 58개 기업의 대부분이 미국과 중국이라는 것은 아실 겁니다.
 그런데 이 58개 경쟁 기업을 배출하는 국가를 보면 미국, 중국을 포함해 우리나라까지 12개 국가가 AI 모델을 만들고 있는 것으로 보입니다. 우리나라 기업들이 7개가 들어가 있습니다.
 미국과 중국이 양강으로 독점화되고 있는 글로벌 AI 생태계에서 우리나라가 다른 국가에서는 보여지지 않는 튼튼한 AI 생태계를 만들어가는 주체들로 성장해 가고 있다는 점을 저희가 눈여겨보고 있습니다.
 1라운드에서 선택되지 못했던 모티프가 2라운드에 참여해서 뛰어난 성능을 보여준 것처럼, 정부 지원이 부족한 상황에서도 30여 명 규모의 작은 AI 스타트업이 정부 프로젝트를 통해 눈부신 성과를 만들어낸 것입니다.
 저희는 이 과정 자체가 우리나라 AI 생태계가 글로벌 AI 생태계에서 미국과 중국에 이은 국가로 성장해 나가고 있고, 그런 목표를 향해 계속 차근차근 가고 있다는 평가를 하고 있습니다.
 Q. 2차 평가에서 세 영역 모두 1위를 차지한 팀이 있었나.
 네, 다 달랐습니다. 다 달랐고 일관되게 1등을 한 기업은 없었습니다.
 김현아 (chaos@edaily.co.kr) 
 </section> 
 </div> 
 Copyright © 이데일리. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기