이번 공개 결과에서는 SK텔레콤(017670)이 70.6점으로 종합 1위를 차지했고, 업스테이지(69.9점), LG AI연구원(69.0점), 모티프테크놀로지스(65.8점) 순으로 나타났다.
특히 모티프는 글로벌 AI 평가기관인 Artificial Analysis의 AAII 벤치마크에서는 4개 정예팀 가운데 가장 높은 점수를 받았지만, 전문가 평가와 AI 전문 사용자진 평가, 일반 국민 평가에서는 모두 4위에 그친 것으로 나타났다.
과학기술정보통신부는 27일 독파모 프로젝트 2차 단계평가 결과의 세부 점수를 공개했다.
정부는 당초 평가 결과 공개에 따른 기업들의 직·간접적인 피해를 최소화하는 동시에 평가 과정의 공정성과 투명성을 확보하기 위해 공개 범위를 신중하게 결정해 왔다고 했다.
그러나 이날 모티프테크놀로지스가 입장문을 통해 세부 평가 결과 공개를 요청했고, 다른 정예팀들도 이에 동의하면서 전체 세부 점수를 공개하기로 했다.
과기정통부는 “독파모는 단순한 순위 경쟁이나 탈락팀 선정을 목적으로 하는 사업이 아니다”며 “국내 AI 기업들이 경쟁을 넘어 성장하고 AI 생태계의 질적 성장과 확장을 견인하는 데 취지가 있다”고 밝혔다.
◇5개 영역 평가…벤치마크·전문가·사용자 평가 병행
독파모 2차 단계평가는 크게 △벤치마크 평가 △전문가 평가 △사용자 평가로 진행됐다.
벤치마크 평가는 다시 △AAII 벤치마크 △한국지능정보사회진흥원(NIA) 벤치마크로 나뉘었다. 사용자 평가는 △AI 전문 사용자진 평가 △일반 국민 평가로 구성됐다.
전체 배점은 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점이다.
과기정통부는 AI 기술이 빠르게 변화하는 점을 고려해 6개월마다 개발 목표를 조정하는 ‘무빙 타깃’ 방식을 적용하고 있다. 이에 따라 단계평가 기준과 방식도 매 차례 정예팀들과 협의해 마련하고 있다고 설명했다.
이번 2차 평가 기준 역시 정예팀들과 수차례 협의를 거쳐 확정했으며, 평가 전에 최종안을 공식 안내한 뒤 이견이 없는 상태에서 평가를 진행했다는 게 정부 설명이다.
◇AAII에서는 모티프 1위…47.4점 원점수
가장 눈에 띄는 부분은 AAII 평가다.
Artificial Analysis가 6월 말 공표한 기준을 적용해 진행한 AAII 벤치마크에서 모티프는 원점수 47.4점으로 1위를 기록했다. 이를 25점 만점으로 환산한 결과 11.9점을 받았다.
업스테이지는 원점수 37.4점, 환산점수 9.4점으로 2위였고 SK텔레콤은 35.0점, 8.8점으로 3위였다. LG AI연구원은 31.0점, 7.8점으로 4위였다.
모티프는 GDPval-AA v2, τ3-Banking, Terminal-Bench v2.1, AA-LCR, AA-Omniscience Accuracy, HLE 등 다수 항목에서 상대적으로 높은 점수를 기록했다. 특히 Terminal-Bench v2.1에서는 74.9점으로 다른 3개 팀을 크게 앞섰다.
◇NIA 벤치마크는 SKT 1위…4개 팀 점수 격차 크지 않아
NIA 벤치마크에서는 SK텔레콤이 13.4점으로 가장 높았다. 업스테이지가 13.3점으로 뒤를 이었고 LG AI연구원 12.8점, 모티프 12.7점 순이었다.
NIA 평가는 수학, 지식, 장문이해, 지시이행, 한국어, 신뢰성, 안전성, 사회적 안전성 등 8개 영역을 대상으로 진행됐다.
원점수 기준으로는 업스테이지가 732.4점으로 가장 높았고 SK텔레콤 728.7점, LG AI연구원 705.8점, 모티프 702.8점이었다. 이를 15점 만점으로 환산했다.
세부적으로 보면 업스테이지는 수학·지시이행·신뢰성 등에서 강점을 보였고, SK텔레콤은 지식과 한국어 등에서 높은 점수를 기록했다. LG AI연구원은 장문이해와 안전성에서 상대적으로 높은 점수를 받았다.
◇전문가 평가는 LG AI연구원 1위…모티프 27.1점으로 4위
전문가 평가에서는 LG AI연구원이 29.5점으로 1위를 차지했다. SK텔레콤 29.3점, 업스테이지 29.1점, 모티프 27.1점 순이었다.
전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명으로 평가위원회를 구성해 진행했다. 정예팀들이 제출한 평가서류를 바탕으로 약 5일간 서면평가와 질의응답(Q&A)을 병행했다.
평가 항목은 △개발 전략 및 기술 10점 △개발 성과 및 계획 10점 △파급효과 및 기여계획 15점이었다. 독자성 최소기준에 대한 점검도 함께 이뤄졌다.
평가위원별 점수를 단순히 모두 합산한 것이 아니라 최고점과 최저점을 제외한 나머지 점수를 산술 평균해 최종 점수를 산출했다.
LG AI연구원은 개발 전략과 기술, 개발 성과 및 계획, 파급효과 및 기여계획 전반에서 고르게 높은 평가를 받은 것으로 나타났다.
반면 모티프는 일부 평가위원으로부터 높은 점수를 받았지만, 전체적으로는 27.1점에 그쳤다.
◇AI 스타트업 대표 49명 평가…SKT 1위, 모티프 4위
AI 전문 사용자진 평가에서는 SK텔레콤이 11.6점으로 1위를 기록했다.
LG AI연구원이 11.3점으로 2위, 업스테이지가 10.8점으로 3위, 모티프가 8.4점으로 4위였다.
AI 전문 사용자진은 AI에 대한 전문적인 식견과 경험을 갖추고 실제 다양한 AI 개발 과정에서 AI 모델을 폭넓게 사용해 본 AI 스타트업 대표들을 대상으로 선정했다고 과기부는 설명했다.
당초 50명이 선정됐지만 실제 평가에는 49명이 참여했다. 이해충돌 여부도 확인했다.
평가는 각 정예팀이 제공한 AI 사용 웹사이트를 기반으로 사용성 등을 평가하는 방식으로 진행됐다. 평가단은 1점부터 5점까지 점수를 매겼으며, 이를 15점 만점으로 환산했다.
원점수 합계는 SK텔레콤이 189점으로 가장 높았고 LG AI연구원 184점, 업스테이지 176점, 모티프 137점이었다.
◇일반 국민 평가도 LG AI연구원 1위…모티프 5.7점
일반 국민 평가에서는 LG AI연구원이 7.6점으로 1위를 차지했다. SK텔레콤은 7.5점, 업스테이지 7.3점, 모티프는 5.7점이었다.
정부는 일반 국민의 대표성을 높이기 위해 충분한 기간 동안 평가단을 모집한 뒤 국내 주민등록인구 통계를 기준으로 성별·연령별 쿼터를 설정하고 무작위로 200명을 선정했다. 이 가운데 실제 평가에 참여한 인원은 185명이었다.
평가단 역시 이해충돌 여부를 확인한 뒤 확정됐다. 각 모델에 대해 1~5점의 절대평가를 실시하고 이를 10점 만점으로 환산했다.
원점수 합계는 LG AI연구원 701점, SK텔레콤 698점, 업스테이지 675점, 모티프 528점이었다.
이에 대해 모티프는 사용자 평가의 공정성에 이의를 제기하는 상황이다. 유명 대기업과 상대적으로 인지도가 낮은 스타트업이 개발한 모델을 일반 사용자가 평가할 경우 개발사를 사전에 인지하면 브랜드 인지도나 선입견이 결과에 영향을 미칠 가능성을 배제하기 어렵다는 이유다.
모티프테크놀로지스는 “AAII 벤치마크에서 나타난 성능 차이가 일반 사용자 평가에서 크게 달라졌다면 어떤 평가 방식과 조건이 이런 결과에 영향을 미쳤는지 납득할 수 있는 설명이 필요하다”고 주장했다.
또 사용자 평가의 세부 결과는 단순히 선정과 탈락을 가르는 자료에 그쳐서는 안 되며 참여 기업이 모델의 사용성을 개선할 수 있는 실질적인 피드백으로 제공돼야 한다고 강조했다.
◇종합 1위 SKT…모티프는 AAII 1위에도 전체 4위
5개 평가 영역을 모두 합산한 결과 SK텔레콤이 70.6점으로 최종 1위를 차지했다.
업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위, 모티프테크놀로지스가 65.8점으로 4위였다.
결과적으로 모티프는 전체 100점 가운데 24.6점으로 벤치마크 평가에서는 1위를 차지했다. 그러나 전문가 평가에서 27.1점, 사용자 평가에서 14.1점을 받아 최종 순위에서는 4위로 내려갔다.
반면 SK텔레콤은 AAII에서는 3위였지만 NIA에서 1위, 전문가 평가 2위, AI 전문 사용자진 평가 1위, 일반 국민 평가 2위를 기록하면서 종합 1위에 올랐다.
업스테이지 역시 벤치마크 평가 2위, 전문가 평가 3위, 사용자 평가 3위를 기록하며 69.9점으로 2위에 올랐다.
LG(003550) AI연구원은 AAII에서는 4위였지만 전문가 평가와 일반 국민 평가에서 각각 1위를 차지하며 최종 3위에 올랐다.
과기정통부는 이번 세부 결과 공개를 계기로 기업들이 단순한 점수와 순위에만 매몰되기보다 각자의 기술력과 역량을 바탕으로 국내외 AI 생태계에 기여해 달라고 강조했다.
과기정통부 관계자는 “우리 기업들이 보유한 저력과 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하고, 새롭고 경쟁력 있는 AI 기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다”고 밝혔다.
