독자 AI 파운데이션 모델(독파모) 프로젝트 3차 평가 결과 발표를 앞둔 가운데, 글로벌 벤치마크인 AAII 점수가 최종 심사의 주요 변수로 떠오르고 있다. 이번 3차 평가에서는 LG AI연구원, 업스테이지, SK텔레콤, 모티프테크놀로지스 등 4개 기업 가운데 1곳이 탈락한다.
12일 과학기술정보통신부에 따르면 정부는 이날까지 국내 AI 모델에 대한 독파모 심사를 마쳤다. AAII 평가 점수는 13일 공개될 예정이며, 구체적인 공개 시간은 Artificial Analysis 측 준비 상황에 따라 결정된다.
AAII 점수는 독파모 2차 평가의 벤치마크 40점 가운데 25점을 차지하는 것으로 알려졌다. 나머지 15점은 한국지능정보사회진흥원(NIA) 자체 벤치마크가 반영된다. 전체 100점 가운데 AAII 비중이 25%에 달하는 만큼 최종 순위에 상당한 영향을 미칠 전망이다.
AAII는 추론·지식·코딩 등 실제 AI 활용 능력을 평가하는 글로벌 벤치마크다. 과기정통부 관계자는 “통상 AAII 평가는 각 기업이 의뢰하지만 이번에는 정부가 Artificial Analysis에 직접 의뢰해 점수가 공개된다”고 말했다.
모델 크기를 키운 기업의 경우 최적화에 시간이 부족해 상대적으로 낮은 점수를 받을 수도 있는 것이다.
업계에선 실제 산업 현장에서는 모델 성능뿐 아니라 토큰 효율, 응답 속도, 운영 비용 등을 함께 평가해야 한다는 의견도 나온다.
독파모 최종 평가가 AAII 점수만으로 결정되는 것은 아니다. 2차 평가는 벤치마크 40점 외에 전문가 평가 35점, 사용자 평가 25점으로 구성된다. 따라서 AAII 결과와 함께 전문가·사용자 평가 및 산업 현장 적용성 등을 종합적으로 봐야 한다는 분석이다.
독파모 사업 목표인 ‘6개월 이내 출시된 최신 국제 AI 모델 대비 95% 이상 성능’의 기준 역시 변수다. 최신 오픈웨이트 모델을 기준으로 삼는지, 프론티어급 최상위 모델까지 포함하는지에 따라 성과에 대한 해석이 달라질 수 있다.
과기정통부 관계자는 “AAII 평가가 독파모 평가 기준 중 일부에 들어가 있지만 전체 평가가 AAII 점수로만 결정되는 것은 아니다”며 “심사 결과가 발표되기 전에 특정 결과를 긍정적 또는 부정적으로 해석하는 것은 적절하지 않다”고 말했다.
이번 AAII 결과는 국내 기업들이 개별적으로 제시해온 성능 수치가 아닌 동일한 글로벌 기준으로 국내 AI 모델을 비교한다는 점에서 주목된다. 다만 점수 자체뿐 아니라 평가 지표와 비교군이 얼마나 공정하게 설정됐는지도 함께 살펴봐야 한다는 지적이다. 13일 공개될 AAII 결과가 독파모 최종 심사에서 어떤 영향을 미칠지 관심이 쏠린다.
